“ การชะลอตัว 19% ที่สังเกตได้ในหมู่นักพัฒนาที่มีประสบการณ์ไม่ได้เป็นคำฟ้องของ AI โดยรวม แต่ภาพสะท้อนของแรงเสียดทานในโลกแห่งความเป็นจริงของการรวมคำแนะนำความน่าจะเป็นในเวิร์กโฟลว์ที่กำหนด” Gogia อธิบายว่าการวัดควรรวมถึง
หลักฐานอุตสาหกรรมที่กว้างขึ้น
การค้นพบ METR สอดคล้องกับแนวโน้มที่ระบุไว้ใน Google 2024 DevOps Analysis and Evaluation (DORA) รายงานตามคำตอบจากผู้เชี่ยวชาญกว่า 39,000 คน ในขณะที่ 75% ของนักพัฒนารายงานว่ารู้สึกมีประสิทธิผลมากขึ้นด้วยเครื่องมือ AI ข้อมูลจะบอกเล่าเรื่องราวที่แตกต่าง: การเพิ่มขึ้นของการใช้ AI ทุก ๆ 25% แสดงให้เห็นว่าความเร็วในการจัดส่ง 1.5% ลดลงและลดลงของระบบลดลง 7.2% นอกจากนี้ 39% ของผู้ตอบแบบสอบถามรายงานว่ามีความน่าเชื่อถือเพียงเล็กน้อยหรือไม่มีเลยในรหัส AI ที่สร้างขึ้น
ผลลัพธ์เหล่านี้ขัดแย้งกับการศึกษาในแง่ดีก่อนหน้านี้ วิจัยจาก MIT, Princeton และ College of Pennsylvaniaการวิเคราะห์ข้อมูลจากนักพัฒนากว่า 4,800 คนที่ Microsoft, Accenture และ บริษัท Fortune 100 อีก บริษัท หนึ่งพบว่านักพัฒนาที่ใช้ GitHub Copilot เสร็จงานโดยเฉลี่ย 26% การทดลองที่มีการควบคุมแยกต่างหากพบว่านักพัฒนาซอฟต์แวร์เสร็จสิ้นการเข้ารหัสเสร็จเร็วขึ้น 55.8% ด้วย GitHub Copilot 55.8% อย่างไรก็ตามการศึกษาเหล่านี้มักจะใช้งานที่ง่ายกว่าและโดดเดี่ยวมากขึ้นเมื่อเทียบกับสถานการณ์ที่ซับซ้อนและเป็นจริงที่ตรวจสอบในการวิจัย METR