مقاله‌ی arXiv:2609.04518 · در صف خبرنامه
Multi-Harness Reinforcement Learning for Coding Agents: Training Gains and Harness Dependence
یادگیری تقویتی چندهارنسی برای ایجنت‌های کدنویسی: سود آموزش در برابر وابستگی به هارنس
- تاریخ
- (۱۲ شهریور ۱۴۰۵) 2026-09-03 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Chenqian Le, Jiayi Cheng, Qijia He, Runhao Li, Yinghao Li, Xupeng Chen
- نهاد نویسنده‌ها
- New York University; University of Washington; University of Southern California; Columbia University; Dimension Gate
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
سیستم‌های اخیر ایجنت‌های کدنویسی را با یادگیری تقویتی روی مسیرهای جمع‌آوری‌شده از چند هارنس اجرا آموزش می‌دهند. اما بهبود زیر هارنس‌های آموزشی این پرسش را باز می‌گذارد که آیا به رابط‌های دیده‌نشده منتقل می‌شود و چطور به نرمال‌سازی پاداش وابسته است.
روش
نویسنده‌ها دو نسخه‌ی یادگیری تقویتی Qwen3-8B را از یک نقطه‌ی تنظیم دقیق نظارت‌شده با داده‌ی بازپخش یکسان آموزش دادند که فقط در این فرق داشتند که پاداش هر تسک درون هر هارنس (Within) یا بین هارنس‌ها (Cross) نرمال شود، و کارایی را روی SWE-bench Verified زیر هارنس‌های ثابت و بین هارنس‌ها مقایسه کردند.
یافته‌ها
- یادگیری تقویتی چندهارنسی با هر دو قاعده بهبود کوچکی نسبت به پایه‌ی نظارت‌شده داد: میانگین تخمینی ۰٫۴۸ و ۰٫۷۷ واحد درصد در چهار هارنس آموزشی.
- نرمال‌سازی بین هارنس‌ها کسر مسیرهای با مزیت غیرصفر را بالا برد اما روی هارنس دیده‌نشده برتری پایداری نداشت و هیچ قاعده‌ای به‌طور معنادار از پایه بهتر نبود.
- کارایی بین هارنس‌ها بسیار بیشتر از اثر آموزش تغییر کرد: نرخ حل بالاترین و پایین‌ترین هارنس منبع ۷٫۱۳ واحد درصد فاصله داشت.
محدودیت‌ها
نویسنده‌ها می‌گویند مطالعه سود یادگیری تقویتی را مشروط به یک مجموعه‌ی ثابت مسیر چندهارنسی می‌سنجد، سهم خود تنوع هارنس به مقایسه با آموزش تک‌هارنسی نیاز دارد که بیرون از این طرح است، و در آموزش آنلاین به‌روزرسانی سیاست مسیرهای بعدی را تغییر می‌دهد.
چرا مهم است
بهبودهای گزارش‌شده از آموزش ایجنت‌ها ممکن است کوچک‌تر از تفاوت ناشی از انتخاب هارنس باشند. این کار نشان می‌دهد ارزیابی ایجنت‌های کدنویسی باید هارنس را هم در نظر بگیرد.