مقاله‌ی arXiv:2610.07898 · در صف خبرنامه
FC-SWE: Failure-Conditioned RL for Long-Horizon Software Engineering Agents
یادگیری تقویتی مشروط به شکست برای ایجنت‌های مهندسی نرم‌افزار بلندمدت
- تاریخ
- (۱۴ مهر ۱۴۰۵) 2026-10-06 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Jia Liufu, Bin Hu, Linglin Jing, Terry Kong, Yuki Huang, Ashwath Aithal, Wenming Yang, Jun Yang
- نهاد نویسنده‌ها
- NVIDIA; Tsinghua University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مهندسی نرم‌افزار در سطح مخزن یک تنظیم بلندمدت چالش‌برانگیز است. کارهای اخیر ایجنت‌ها را با روش‌هایی مثل GRPO آموزش می‌دهند که چند مسیر مستقل برای هر مسئله نمونه‌گیری و پاداش پایانی را در یک گروه ثابت مقایسه می‌کنند. اما این روش بازخورد تأییدکننده از وصله‌های شکست‌خورده را برای تلاش بعدی استفاده نمی‌کند، با این‌که این بازخورد اطلاعات تشخیصی ارزشمندی دارد؛ مثلاً پیام خطای تست می‌گوید کدام حالت مرزی جا افتاده است.
روش
چارچوب FC-SWE پس از شکست یک وصله، مخزن را به وضعیت اولیه برمی‌گرداند و وصله‌ی شکست‌خورده و بازخورد تأییدکننده را کانتکست یک مسیر بازیابی می‌کند. دو سازوکار GRPO را با این زنجیره‌ها تطبیق می‌دهند: پاداش محلی هر مسیر نتیجه‌ی تأییدکننده‌ی همان تلاش را حفظ می‌کند تا موفقیت بازیابی به وصله‌ی شکست‌خورده‌ی قبلی پاداش ندهد، و برآورد مزیت با مجموعه‌ی فعال، گروه مقایسه را از همه‌ی مسیرهای اولیه و بازیابی‌ای که واقعاً برای همان مسئله اجرا شده‌اند می‌سازد.
یافته‌ها
- روی همه‌ی ۵۰۰ تسک SWE-bench Verified با پروتکل کمک‌گرفته از تأییدکننده، با Qwen3.5-4B و هارنس
SWE-agentبه نرخ حل ۴۱٫۷ درصد در تلاش اول و ۵۲٫۸ درصد در دو تلاش رسید، در برابر ۳۸٫۹ و ۴۸٫۵ درصد برای GRPO. - با این‌که حداکثر با دو تلاش آموزش دید، با بودجه‌ی یازده‌تلاشی در زمان آزمون به ۷۰٫۷ درصد رسید.
محدودیت‌ها
نویسنده‌ها می‌گویند ارزیابی فرض می‌کند پس از هر تلاش بازخورد تست‌های بنچمارک در دسترس است؛ استفاده از تأییدکننده‌های قابل دسترس در استقرار، مثل منتقدهای آموخته‌شده یا تست‌های تولیدی ایجنت، کار آینده است.
چرا مهم است
توسعه‌دهنده‌ی انسانی از پیام خطا یاد می‌گیرد و دوباره تلاش می‌کند. این کار همین مهارت بازیابی از شکست را مستقیم در آموزش ایجنت وارد می‌کند.