SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories

مسئله

ایجنت‌های کدنویسی بیشتر برای کارهای سرتاسری مهندسی نرم‌افزار به کار می‌روند، جایی که اغلب داوری آماده که معیار موفقیت را تعریف کند وجود ندارد. پس تأییدکننده‌ای لازم است که رفتار ایجنت را قابل اعتماد داوری و توضیح دهد. اما مسیرهای اجرا می‌توانند خیلی طولانی باشند و صدها تعامل با ریپو و ابزار داشته باشند. تأییدکننده‌های موجود یا از مدل‌های عمومی بدون آموزش تخصصی استفاده می‌کنند یا منتقدهایی آموزش می‌دهند که بیشتر فقط یک عدد پاداش می‌دهند.

روش

خط لوله‌ی SWE-Critix تأییدکننده‌های عمومی مسیرهای ایجنت کدنویسی را آموزش می‌دهد. با گرفتن تسک و مسیر اجرا، تأییدکننده برچسب تکمیل را پیش‌بینی می‌کند و یک تحلیل به زبان طبیعی می‌نویسد که قضاوتش را توضیح می‌دهد. خط لوله آموزش نظارت‌شده را با یادگیری تقویتی ترکیب می‌کند و مدل‌های ۳۰ میلیاردی را روی مسیرهای CodeForge-Preview آموزش می‌دهد.

یافته‌ها

• روی مجموعه‌ی آزمون کنارگذاشته، دقت دسته‌بندی از ۵۷ درصد برای مدل استدلالی پایه‌ی Qwen3-30B-A3B به ۶۶ درصد بعد از آموزش نظارت‌شده و ۷۸ درصد بعد از یادگیری تقویتی رسید.
• یادگیری تقویتی بازیابی موارد مثبت را از ۶۷ به ۸۵ درصد رساند بدون افت چشمگیر در بازیابی موارد منفی.

محدودیت‌ها

نویسنده‌ها می‌گویند کارایی روی R2E-Gym به‌طور محسوسی پایین‌تر از SWE-Rebench و SWE-Smith است، شاید به خاطر حجم داده‌ی کمتر، و نتیجه‌ها را آزمایش‌های اولیه می‌نامند.