آرشیو مقاله‌ها همه‌ی مقاله‌هاموضوع‌هالابراتوارهاجستجودرباره
همه‌ی مقاله‌هاموضوع‌هالابراتوارهاجستجودرباره
خانه مقاله‌ها مقاله‌ی 2610.21496

مقاله‌ی arXiv:2610.21496 · در صف خبرنامه

OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents

یاد دادن به ایجنت کدنویسی که از اطلاعاتی که همین الان در کانتکستش هست استفاده کند

تاریخ
(۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
نویسنده‌ها
Yuechen Luo, Zhiyi Lai, Miao Ziqi, Zihang Xu, Jingxuan Xu, Songwei Yu, Wenqiang Zhu, Weihao Li, Junhao Fan, Haoyang Huang, Yanan Wu, Ken Deng
برچسب لابراتوار
Alibaba QwenSWE-bench
موضوع‌ها
هارنسیادگیری تقویتی برای کدنویسیایجنت کدنویسیدیستیلیشنایجنت‌های بلندمدتکارایی استنتاج

خلاصه‌ی فارسی

مسئله

کدنویسی قابل اعتماد در سطح ریپو یعنی ایجنت نه فقط کد درست بنویسد، بلکه محدودیت‌ها را در طول تعامل طولانی رعایت کند و به بازخورد ابزارها واکنش نشان دهد. تحلیل نویسنده‌ها نشان داد ایجنت‌ها اغلب به اطلاعاتی که همین حالا در کانتکست دارند عمل نمی‌کنند؛ مثلاً پیام خطای تست را می‌بینند و نادیده می‌گیرند. نتیجه‌ی نهایی قبول یا رد هم نظارت خیلی کمی بر این فرایند می‌دهد.

روش

روش OPRD «یادآوری»هایی در چند سطح می‌سازد: یک یادآوری کلی که تشخیص‌های تست نهایی را به راهنمایی برای کل مسیر تبدیل می‌کند، و یادآوری‌های محلی که فقط روی تصمیم بعد از یک مشاهده‌ی مشخص از محیط اثر دارند. شاگرد بدون یادآوری اجرا می‌شود. اجراهای موفق برای تقلید از خود به کار می‌روند و اجراهای ناموفق را معلمی که یادآوری‌ها را می‌بیند روی همان پیشوندها دوباره ارزیابی می‌کند و نظارت می‌دهد. در زمان استفاده، شاگرد هیچ یادآوری‌ای ندارد.

یافته‌ها

  • روی SWE-bench Verified، SWE-bench Pro و SWE-bench Multilingual، میانگین نرخ حل تسک را ۱۱٫۳ امتیاز نسبت به مدل پایه‌ی متن‌باز Qwen3.5-4B بالا برد.
  • با همان پروتکل تشخیصی، تعداد کل رخدادهای خطا از ۴۴۶ به ۲۲۲ رسید، یعنی حدود نصف.

محدودیت‌ها

آزمایش‌ها روی یک مدل کوچک ۴ میلیاردی انجام شده؛ نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند.

چرا مهم است

خیلی از خطاهای ایجنت‌های کدنویسی از کمبود اطلاعات نیست، از استفاده نکردن از اطلاعات موجود است. این روش این عادت را مستقیم آموزش می‌دهد، بی آن‌که در زمان استفاده پرامپت اضافه لازم باشد.