مقاله‌ی arXiv:2610.12598 · نگه‌داشته برای بعد
Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents
خودپاداش‌دهی رفتاری برای ایجنت‌های مهندسی نرم‌افزار: فراتر از پاداش دودویی قبول یا رد تست
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yiran Wu, Andrew Zhao, Yurui Chang, Qingyun Wu, Xuan Feng
- نهاد نویسنده‌ها
- Pennsylvania State University; AG2AI; Microsoft Research
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
یادگیری تقویتی با پاداش قابل تأیید با تست‌های اجرایی نظارت قابل اعتمادی به ایجنت‌های مهندسی نرم‌افزار می‌دهد، اما پاداش دودویی بین مسیرهایی که کیفیت اشکال‌زدایی‌شان خیلی متفاوت است فرقی نمی‌گذارد. مثلاً دو مسیری که هر دو تست را رد می‌کنند، یکی ممکن است تا نزدیک ریشه‌ی باگ رفته باشد و دیگری بی‌هدف فایل‌ها را عوض کرده باشد، ولی هر دو پاداش صفر می‌گیرند.
روش
روش «خودپاداش‌دهی رفتاری» (BSR) خود سیاست فعلی را دوباره به کار می‌گیرد تا رفتار قابل مشاهده‌ی اشکال‌زدایی را بین مسیرهای یک تسک با نتیجه‌ی تأییدکننده‌ی یکسان مقایسه کند. ترجیح‌های جفتی به امتیازهای محلی هر تسک و سپس به پاداش‌های کمکی کران‌دار تبدیل می‌شوند، طوری که ترتیب قبول و رد تعیین‌شده توسط تأییدکننده حفظ شود. این کار بدون مدل پاداش جداگانه و بدون تعامل تازه با محیط، از مسیرهای از پیش جمع‌شده نظارت اضافه می‌گیرد.
یافته‌ها
- آزمایش‌ها روی SWE-bench Verified و SWE-bench-Live در پیکربندی‌های ارزیابی‌شده‌ی Qwen3-14B و Qwen3-32B بهبود پیوسته نشان دادند.
- نتیجه‌ها از استفاده از قضاوت‌های مقایسه‌ای خود سیاست به عنوان یک سیگنال یادگیری مکمل پشتیبانی می‌کنند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده اندازه‌ی عددی بهبود را نمی‌گوید؛ آزمایش‌ها فقط روی دو اندازه از یک خانواده مدل انجام شده است.
چرا مهم است
پاداش صفر و یک بخش زیادی از اطلاعات مسیرهای ایجنت را دور می‌ریزد. این کار نشان می‌دهد خود مدل می‌تواند بدون هزینه‌ی اضافه، کیفیت روند کار را هم در پاداش وارد کند.