هر کسی که حتی به‌طور غیرمستقیم با برنامه‌نویسی کامپیوتر سروکار داشته باشد، می‌داند دستیارها و عامل‌های هوش مصنوعیِ امروزی برای کدنویسی می‌توانند در تولید حجم زیادی کدِ کارآمد، فوق‌العاده سریع عمل کنند. اما برنامه‌نویسانی که از این ابزارها استفاده می‌کنند، خوب می‌دانند که نباید به دقت کدهای تولیدشده اعتماد کنند؛ یعنی برای بررسی خروجی تولیدشده با هوش مصنوعی باید وقت و انرژی زیادی صرف کرد.

پژوهشی تازه درباره رویه‌های واقعی کدنویسی در صدها شرکت نشان می‌دهد که بازبینی کد به‌دست انسان، به «گلوگاهی» مهم در کارایی کلی ابزارهای هوش مصنوعی برای کدنویسی تبدیل شده است؛ در نتیجه، استفاده از این ابزارها «شواهد چندانی از افزایش حجم تولید نرم‌افزار یا کاهش اشتغال» به دست نمی‌دهد. به‌گفته پژوهشگران، هرگونه افزایش کارایی در مرحله کدنویسی، «با محدودیت‌های مراحل بعدی فرایند تولید خنثی می‌شود»؛ زیرا «با طولانی‌تر شدن چشمگیر فرایند بازبینی کد، احتمال نیاز درخواست‌های ادغام به بازبینی بیشتر می‌شود و بازبین‌ها نظرهای بیشتری می‌گذارند.»

یک‌بار ببُر، دوبار اندازه بگیر

پژوهشگران دانشگاه هاروارد، فیونا چن و جیمز استراتن، برای رسیدن به این نتایج از داده‌های تحلیلی تجمیع‌شده Jellyfish استفاده کردند؛ این پلتفرم خروجی تیم‌های مهندسی را با جزئیات اندازه‌گیری می‌کند. این داده‌ها شامل ۳۰۰ میلیون «رویداد کاری» منفرد (مانند commitها و درخواست‌های ادغام) و داده‌های نرم‌افزار مدیریت وظایف از بیش از ۷۰۰ هزار کارمند در بیش از ۷۰۰ شرکت فعال در توسعه نرم‌افزار می‌شود و بازه زمانی سال ۲۰۲۱ تا مارس ۲۰۲۶ را در بر می‌گیرد.