مقاله‌ی arXiv:2610.23782 · در صف خبرنامه
Enforcing Code Reasoning in Agentic Scaffold for More Effective Issue Resolution
- تاریخ
- (۲۴ مهر ۱۴۰۵) 2026-10-16
- نویسنده‌ها
- Changshu Liu, Ji young Kim, Alireza Ghazanfari, Saanvi Nallu, Reyhaneh Jabbarvand
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مقاله‌ی Enforcing Code Reasoning in Agentic Scaffold for More Effective Issue Resolution (16 Oct 2026، چانگ‌شو لیو، ریحانه جباروند و همکاران، آزمایشگاه Intelligent-CAT-Lab)
مسئله: ایجنت‌های کدنویسی وقتی یک باگ واقعی را در ریپو حل می‌کنند، گاهی درباره‌ی خود کد فکر می‌کنند، مثلاً در ذهن دنبال می‌کنند که یک ورودی از کدام تابع‌ها رد می‌شود و کجا خراب می‌شود. نویسنده‌ها ۷٬۹۵۵ ترنسکریپت حل باگ را از شش هارنس مختلف (از ایجنت ساده تا چندایجنتی و ارکستراتور-ورکر) روی خانواده‌ی SWE-bench و در چهار زبان برنامه‌نویسی بررسی کردند. در حدود دو سوم ترنسکریپت‌ها نوعی استدلال درباره‌ی کد دیدند و هر جا این استدلال بیشتر بود، باگ بیشتر حل شده بود. ولی این فکر کردن هدایت‌شده نیست و چهار خطای تکراری دارد:
- ایجنت به نشانه‌ی سطحی متن گزارش باگ می‌چسبد. در مثال مقاله، کلاد کد با مدل هایکو ۴٫۵ کلاس درست را پیدا کرد و برای هفت تابع از هشت تابع خراب تست نوشت، ولی یکی را جا انداخت، چون ظاهرش به راهنمایی متن گزارش ربطی نداشت.
- پچی را که تقریباً درست است دیگر اصلاح نمی‌کند.
- بعضی خواسته‌های صریح گزارش باگ را نادیده می‌گیرد.
- تست‌هایی می‌نویسد که همه تقریباً یک حالت را می‌سنجند.
روش: اسم DeskCheck از یک عادت قدیمی برنامه‌نویس‌ها آمده: اجرای کد روی کاغذ، خط به خط، پیش از اجرای واقعی. این هارنس ایجنت را در هر مرحله به همین کار وادار می‌کند:
- برای پیدا کردن محل باگ، مسیر اجرای کد را در ذهن شبیه‌سازی می‌کند تا به ریشه برسد، نه فقط به جایی که خطا خودش را نشان می‌دهد.
- برای اصلاح، اجرای پچ پیشنهادی را شبیه‌سازی می‌کند تا پچ‌های «تقریباً درست» کامل شوند.
- برای بازبینی، پچ را بند به بند با خواسته‌های گزارش باگ مقایسه می‌کند.
- برای تست، اول حالت‌های مرزی و خروجی مورد انتظار هر کدام را مشخص می‌کند و بعد تست می‌نویسد.
یافته‌ها:
- روی ۷۳۱ مسئله از SWE-bench-Pro و با سه مدل مختلف (MiniMax-M3، GPT-5.6-Luna و Claude Haiku-4.5)، نرخ حل مسئله نسبت به mini-SWE-Agent و کلاد کد حدود ۶ تا ۱۰٫۵ درصد بالاتر رفت. هزینه‌ی اضافه به‌طور متوسط ۱۴ سنت برای هر مسئله بود و مصرف توکن فقط حدود ۷٫۶ درصد بیشتر شد.
- در پیدا کردن محل باگ، بدون اجرای هیچ تستی، به‌طور متوسط حدود دو سوم متدهای درست را پیدا کرد. همین عدد برای mini-SWE-Agent کمتر از نصف و برای کلاد کد حدود چهار از ده بود.
- وقتی مرحله‌ها را یکی‌یکی اضافه کردند، نرخ حل مسئله پله‌پله از ۵۳ به ۶۸ درصد رسید. یعنی سود از همه‌ی مرحله‌ها می‌آید، نه از یک ترفند.
- برای کنار گذاشتن شانس، مسئله‌هایی را که فقط DeskCheck حل کرده بود دو بار دیگر با هارنس‌های رقیب اجرا کردند و بیش از ۸۰ درصدشان باز هم حل نشد.
محدودیت‌ها: همه‌ی نتایج روی خانواده‌ی SWE-bench و سه خانواده‌ی مدل است و ممکن است برای مدل‌های جدیدتر یا هارنس‌های دیگر صدق نکند. خود نویسنده‌ها هم می‌گویند هنوز راهی برای اطمینان از درستی این «اجرای ذهنی» ندارند. یعنی مدل ممکن است مسیر اجرا را اشتباه شبیه‌سازی کند و این اشتباه به چشم نیاید. این را کار بعدی‌شان اعلام کرده‌اند.