SWE-at-Scale: Scalable Issue Synthesis from Historical Bug Fixes

مسئله

با قوی‌تر شدن ایجنت‌های کدنویسی، برای ارزیابی و آموزششان تسک‌های قابل بررسی بیشتر و متنوع‌تری لازم است. اما تسک‌های واقعی محدودند: به تعداد ایشوهایی که در دنیای واقعی گزارش می‌شود، و ساختن دستی‌شان گران است. روش‌های ساختگی موجود هم بیشتر به دانش مدل‌های بزرگ و پرامپت‌های تجربی تکیه دارند و سازوکار واقعی و پیچیده‌ی خرابی نرم‌افزار را نمی‌سازند.

روش

ایده‌ی SWE-at-Scale این است که باگ‌فیکس‌های تاریخی دانش عمیقی از نحوه‌ی پیدایش باگ دارند. اگر یک فیکس را برعکس کنی، نظارت «تعمیر باگ» به نظارت «ساختن باگ» تبدیل می‌شود که از سناریوهای واقعی توسعه آمده است. مدل این الگوهای باگ را یاد می‌گیرد، آن‌ها را به کدهای تازه منتقل می‌کند و با نمونه‌گیری تکراری از انواع مختلف باگ، تسک‌های اجرایی مهندسی نرم‌افزار می‌سازد.

یافته‌ها

• تسک‌هایی متنوع‌تر و واقع‌گرایانه‌تر از روش‌های ساختگی فعلی ساخت که برای بهترین ایجنت‌های کدنویسی هم سخت‌تر بودند.
• از یک فایل کد می‌شود انواع متمایزی از باگ ساخت، و تنوع باگ‌ها حتی تا ۲۰۰ بار تولید برای هر فایل هم بالا می‌رود.
• کد و مدل‌ها منتشر شده‌اند.

محدودیت‌ها

نویسنده‌ها می‌گویند مطالعه فقط روی ریپوهای پایتون است و معلوم نیست به زبان‌های دیگر تعمیم پیدا کند. باگ‌های واقعی‌ای که تست‌های موجود پوششان نمی‌دهند کنار گذاشته می‌شوند و این فضای تسک‌ها را محدود می‌کند.