مقاله‌ی arXiv:2610.18755 · منتشرشده در کانال
PreciseCoder: Faithful and Generalizable Debugging Beyond Unit-Test Rewards
پاداش تست واحد به مدل یاد می‌دهد زیادی ویرایش کند و باگ خیالی بسازد؛ راه‌حل، پاداش برای ویرایش دقیق
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yunkai Zhan, Miaosen Chai, Shangshang Wang, Jike Zhong, Yuqing Yang, Deqing Fu, Serina Chang, Wang Bill Zhu
- نهاد نویسنده‌ها
- University of Chicago, University of Southern California, Google, University of California, Berkeley
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
یادگیری تقویتی با تست واحد دستور رایج پس‌آموزش مدل‌های کد است، اما تست واحد فقط می‌پرسد برنامه‌ی نهایی پاس می‌شود یا نه. نویسنده‌ها دیدند این پاداش در اشکال‌زدایی نرخ پاس را بالا می‌برد، ولی هم‌زمان به مدل یاد می‌دهد بیشتر از لازم ویرایش کند و در کدی که درست است باگ خیالی پیدا کند.
روش
روش PreciseCoder پاداش تست واحد را با یک سیگنال برای ویرایش‌های محلی که درستی معنایی‌شان تأیید شده تکمیل می‌کند. این پاداش ویرایش را در سطح خط می‌بیند: کدام خط‌ها واقعاً باگ داشتند و کدام بی‌دلیل عوض شدند.
یافته‌ها
- روی مدل‌های ۴، ۹ و ۲۷ میلیاردی، میانگین تعداد خط‌های ویرایش‌شده را از ۷ تا ۱۵ خط به ۳ خط رساند، با نرخ پاسی هم‌سطح آموزش فقط با تست واحد.
- با این‌که فقط روی باگ‌های تک‌خطی آموزش دیده بود، به ترمیم برنامه در سطح ریپو تعمیم پیدا کرد و ایشوهای بیشتری را با وصله‌های کوچک‌تر حل کرد.
- با دادن ردّ استدلال مدل ۹ میلیاردی به مدل‌های پیشرو مثل GPT-5.6 Sol و Qwen3.8-Max، دقت ویرایششان بدون هیچ آموزشی ۴٫۶ تا ۱۲٫۴ امتیاز بهتر شد.
محدودیت‌ها
نویسنده‌ها می‌گویند همه‌ی آموزش و ارزیابی به زبان پایتون است، هرچند خود پاداش مخصوص پایتون نیست.
چرا مهم است
هر کسی که ایجنت کدنویسی را برای رفع یک باگ ساده به کار برده و یک وصله‌ی صدخطی گرفته، این مشکل را می‌شناسد. این کار نشان می‌دهد علت بخشی از آن در خود پاداش آموزش است و با دیدن «خود ویرایش»، نه فقط نتیجه‌ی تست، اصلاح می‌شود.