مقاله‌ی arXiv:2610.18760 · در صف خبرنامه
Beyond the Verdict: Agentic Code Judging with Verifiable Feedback
داور کد ایجنتی که به جای فقط حکم دادن، مثال نقض قابل بررسی برای برنامه‌ی غلط پیدا می‌کند
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zheye Deng, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Priyanka Nigam, Yangqiu Song
- نهاد نویسنده‌ها
- HKUST; Amazon
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مقیاس‌دهی زمان اجرا برای مدل‌های زبانی می‌تواند شامل تولید چند راه‌حل و انتخاب بین آن‌ها یا اصلاح یک تلاش قبلی باشد، و این کار تأییدکننده‌ای لازم دارد که درستی را برآورد کند و شاهد شکست بدهد. در برنامه‌نویسی رقابتی، داور رسمی حکم معتبر می‌دهد ولی با تعداد ارسال محدود و بدون توضیح شکست یا ورودی شکست‌خورده.
روش
نویسنده‌ها تسکی تعریف کردند که در آن مدل یک برنامه را فقط از روی صورت مسئله و کد داوری و عیب‌یابی می‌کند و مثال‌های نقضِ تولیدشده شاهد قابل بررسی‌اند. بنچمارک USACO-JUDGE از مسابقه‌های USACO ۲۰۲۶ با برنامه‌های پذیرفته و ردشده‌ی متخصص‌های انسانی و چند مدل زبانی ساخته شد. ARBITER یک تأییدکننده‌ی ایجنتی ۳۵ میلیاردی ترکیب متخصصان است که با یادگیری تقویتی در یک سندباکس اجرای عمومی آموزش دید.
یافته‌ها
- آموزش، موفقیت یافتن مثال نقض روی برنامه‌های غلط را از ۴۰٫۶۱ به ۶۲٫۶۷ درصد و میانگین دقت حکم دودویی روی USACO-JUDGE را از ۷۱٫۴۱ به ۸۷٫۴۱ درصد رساند، نزدیک به تأییدکننده‌های پیشرو.
- در انتخاب کد و اصلاح آن هم از پایه‌ها بهتر بود.
- در مطالعه‌ی موردی IOI ۲۰۲۶، اصلاح با راهنمایی ARBITER امتیاز مورد انتظار GPT-OSS-120B را زیر محدودیت رسمی ارسال، از آستانه‌ی مدال طلا بالاتر برد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی بر برنامه‌نویسی رقابتی متمرکز است.
چرا مهم است
حکم «غلط است» بدون دلیل به اصلاح کمک چندانی نمی‌کند. این کار نشان می‌دهد یک تأییدکننده‌ی ایجنتی که ورودی شکست‌خورده پیدا می‌کند، هم انتخاب و هم اصلاح کد را بهتر می‌کند.