مقاله‌ی arXiv:2610.10478 · در صف خبرنامه
Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models
پیش از آن‌که بتوانند حل کنند: پیش‌بینی کارایی ایجنت کدنویسی پس از آموزش، از روی مدل پایه
- تاریخ
- (۱۵ مهر ۱۴۰۵) 2026-10-07 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Tan Yu, Alexander Bukharin, Khushi Bhardwaj, Jennifer Williams, Zirui Liu, Jonathan Lingjie Li, Soumye Singhal, Joseph Jennings, Sanjeev Satheesh, Yash Jain, Ashish Vaswani, Venkat Krishna Srinivasan, Matthew Papakipos, Hyunwoo Kim, Jian Zhang, Oleksii Kuchaiev, Markus Kliegl, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jonathan Cohen, Jiantao Jiao
- نهاد نویسنده‌ها
- NVIDIA; University of Minnesota – Twin Cities; University of California, Berkeley
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
کدام نسخه‌ی پایه ارزش یک دور گران پس‌آموزش ایجنتی را دارد؟ معیار سرتاسری pass@K می‌سنجد آیا رفتار موفق در توزیع مدل پایه هست، اما برای کدنویسی ایجنتی مناسب نیست، چون بسیاری از مدل‌های پایه حتی نمی‌توانند فراخوانی ابزار درست‌قالب تولید کنند. تسک‌های تک‌مرحله‌ای این مشکل را دور می‌زنند اما همان توانایی اصلی، یعنی نگه داشتن وضعیت منسجم در گام‌های زیاد، را نمی‌سنجند.
روش
نویسنده‌ها مسیرهای موفق ایجنت‌های پس‌آموزش‌دیده را به عنوان سیگنال پیش‌نگر توان مدل پایه به کار بردند. با بازپخش هر مسیر و اجرای دوباره‌ی تست‌ها پس از هر گام تغییر کد، «گام تعیین‌کننده» پیدا می‌شود: اولین گامی که وصله‌ی تجمعی‌اش مخزن را از شکست به موفقیت می‌برد. در این گام سه آزمون ساختند که لازم نیست مدل پایه هارنس را از صفر اجرا کند: احتمال اقدام تأییدشده بر حسب بیت بر بایت، انتخاب چندگزینه‌ای بین آن اقدام و جایگزین‌هایی که همان تأییدکننده رد کرده، و pass@K مشروط به پیشوند مسیر.
یافته‌ها
- در ده جفت مدل عمومی پایه و پس‌آموزش‌دیده، هر سه آزمون مدل‌ها را با توافق نزدیک با pass@۱ روی SWE-bench Verified پس از آموزش رتبه‌بندی کردند.
- چون روش فقط مسیرهای موفق یک بنچمارک و تأییدکننده‌اش را لازم دارد، می‌توان بنچمارک‌های آینده‌ی کدنویسی ایجنتی را به ارزیابی مدل پایه تبدیل کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نویسنده‌ها اشاره می‌کنند معیار احتمال ممکن است به دو اقدامی که فقط یک نویسه فرق دارند امتیاز مشابه بدهد، و آزمون چندگزینه‌ای را برای رفع همین ساخته‌اند.
چرا مهم است
پس‌آموزش ایجنتی بسیار گران است و انتخاب نسخه‌ی پایه‌ی غلط منابع زیادی هدر می‌دهد. این کار ابزاری می‌دهد تا پیش از خرج کردن، توان بالقوه‌ی هر نسخه را بسنجیم.