تحول چشمگیر در فرآیندهای کاری مهندسان نرم‌افزار با ورود ابزارهای کدنویسی مبتنی بر هوش مصنوعی، نظیر Cursor و GitHub Copilot، در سال‌های اخیر به وقوع پیوسته است. این ابزارها وعده افزایش بهره‌وری را با خود به همراه دارند و به طور خودکار کدها را می‌نویسند، اشکالات را اصلاح می‌کنند و تغییرات را آزمایش می‌کنند. این تکنولوژی‌ها بر پایه مدل‌های هوش مصنوعی developed by OpenAI، Google DeepMind، Anthropic و xAI کار می‌کنند که در سال‌های اخیر در آزمون‌های متعدد مهندسی نرم‌افزار به طرز چشمگیری عملکرد خود را بهبود بخشیده‌اند.
اما یک مطالعه جدید که روز پنجشنبه توسط گروه تحقیقاتی غیرانتفاعی METR منتشر شده، سوالاتی را در مورد این موضوع مطرح می‌کند که آیا ابزارهای کدنویسی هوش مصنوعی واقعاً توانایی افزایش بهره‌وری توسعه‌دهندگان با تجربه را دارند یا خیر. گروه METR با دعوت از 16 توسعه‌دهنده تجربی در حوزه نرم‌افزار آزاد، یک آزمایش کنترل‌شده تصادفی انجام داد که شامل انجام 246 کار واقعی در مخازن کد بزرگ بود که این توسعه‌دهندگان به‌طور منظم در آن‌ها مشارکت داشتند. در این تحقیق، تقریباً نیمی از کارها تحت عنوان “اجازه استفاده از AI” به توسعه‌دهندگان اختصاص داده شد، به طوری که آن‌ها مجاز به استفاده از ابزارهای کدنویسی پیشرفتهای مانند Cursor Pro بودند، در حالی که در نیمه دیگر اجازه استفاده از این ابزارها داده نشد.
قبل از انجام کارهای محول شده، توسعه‌دهندگان پیش‌بینی کردند که استفاده از ابزارهای کدنویسی هوش مصنوعی زمان انجام کار را 24 درصد کاهش خواهد داد. اما نتایج به گونه‌ای دیگر بود. بر اساس اظهارات محققان، “به طرز قابل توجهی متوجه شدیم که اجازه دادن به AI واقعاً زمان تکمیل کار را 19 درصد افزایش می‌دهد— توسعه‌دهندگان در استفاده از ابزارهای هوش مصنوعی کندتر عمل می‌کنند.” از بین توسعه‌دهندگانی که در این مطالعه شرکت کردند، تنها 56 درصد تجربه استفاده از Cursor را داشتند. اگرچه تقریباً همه آن‌ها (94 درصد) تجربه استفاده از مدل‌های زبانی وب‌محور را در فرآیندهای کدنویسی خود داشتند، اما این مطالعه اولین باری بود که برخی از آن‌ها از Cursor به‌طور خاص استفاده کردند. همچنین، پژوهشگران خاطرنشان کردند که توسعه‌دهندگان قبل از انجام آزمایش‌ها، آموزش لازم برای استفاده از Cursor را دیده بودند.
با این حال، یافته‌های METR سؤالاتی را در مورد افزایش بهره‌وری مورد انتظار از ابزارهای کدنویسی هوش مصنوعی در سال 2025 پیش می‌آورد. بر اساس این تحقیق، توسعه‌دهندگان نباید فرض کنند که ابزارهای کدنویسی هوش مصنوعی— به‌ویژه آنچه که به عنوان “کدنویس‌های احساسی” شناخته می‌شود— به‌طور فوری کارایی آن‌ها را افزایش می‌دهد. پژوهشگران METR به چندین دلیل ممکن اشاره می‌کنند که چرا استفاده از AI باعث کندی توسعه‌دهندگان به جای افزایش سرعت آن‌ها شده است. نخست، توسعه‌دهندگان زمان بیشتری را صرف دادن دستورات به AI و انتظار برای دریافت پاسخ می‌کنند تا اینکه واقعاً به کدنویسی بپردازند. همچنین، هوش مصنوعی در کدهای بزرگ و پیچیده معمولاً دچار مشکلاتی می‌شود که در این آزمایش نیز مورد استفاده قرار گرفت. نویسندگان این مطالعه از بیان هرگونه نتیجه‌گیری قوی از این یافته‌ها ابا دارند و صریحاً اعلام می‌کنند که باور ندارند سیستم‌های هوش مصنوعی در حال حاضر توانایی سرعت بخشیدن به کار بیشتر توسعه‌دهندگان نرم‌افزار را ندارند.
مطالعات بزرگ‌تری نیز نشان داده‌اند که ابزارهای کدنویسی هوش مصنوعی واقعاً می‌توانند به تسریع فرآیندهای کاری مهندسان نرم‌افزار کمک کنند. نویسندگان همچنین بر این نکته تاکید می‌کنند که پیشرفتهای هوش مصنوعی در سال‌های اخیر قابل توجه بوده و آن‌ها انتظار ندارند که نتایج مشابهی حتی سه ماه دیگر به دست آید. METR همچنین مشاهده کرده است که ابزارهای کدنویسی هوش مصنوعی قادرند توانایی خود را در انجام وظایف پیچیده و طولانی بهبود بخشند. با این حال، این تحقیق دلیل دیگری برای ابراز تردید نسبت به دستاوردهای وعده داده شده ابزارهای کدنویسی هوش مصنوعی ارائه می‌دهد، چرا که سایر مطالعات نشان داده‌اند که این ابزارها ممکن است خطاهایی را معرفی کنند و در برخی موارد، آسیب‌پذیری‌های امنیتی ایجاد کنند.