مقاله‌ی arXiv:2610.12569 · در صف خبرنامه
SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
میدان دوئل مهندسی نرم‌افزار: بنچمارکی خودمقیاس که در آن ایجنت‌های کدنویسی برای هم باگ می‌کارند و رفع می‌کنند
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Wei Minn, Zhensu Sun, Lwin Khin Shar, David Lo
- نهاد نویسنده‌ها
- Singapore Management University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بنچمارک‌های ثابت کدنویسی در لحظه‌ی انتشار منجمد می‌شوند؛ با گذر زمان تسک‌هایشان به داده‌ی آموزشی نشت می‌کند و ایجنت‌های قوی‌تر اشباعشان می‌کنند. نویسنده‌ها استدلال می‌کنند بنچمارک باید خودمقیاس باشد: تسک‌ها و داورها در زمان ارزیابی ساخته شوند تا چیزی از قبل برای نشت وجود نداشته باشد و سختی را خود شرکت‌کننده‌ها تعیین کنند.
روش
در میدان SWE-Duel دو ایجنت در نوبت‌های قرینه‌ی قرمز و آبی همدیگر را ارزیابی می‌کنند. ایجنت قرمز در سه جلسه‌ی جدا روی یک مخزن واقعی یک ویژگی تازه با تست‌هایش پیشنهاد و پیاده می‌کند، سپس یک باگ ظریف همراه با تست‌های مهروموم‌شده‌ی آشکارکننده‌ی باگ در آن جاسازی می‌کند. درخواست ادغام فقط وقتی پذیرفته می‌شود که تست‌های ویژگی و تست‌های موجود را قبول و دقیقاً تست‌های باگ را رد کند، و یک جلسه‌ی تازه از همان ایجنت بتواند باگ را کورکورانه رفع کند. ایجنت آبی بدون اطلاع از وجود باگ درخواست را بازبینی می‌کند و فقط وقتی می‌برد که نسخه‌ی اصلاحی‌اش هر سه دسته تست را قبول کند.
یافته‌ها
- در مسابقه‌ای با ۱۱ شرکت‌کننده‌ی مدل و هارنس روی ۱۵ مخزن در پنج زبان و ۱۵۰۰ نوبت، GPT-5.5 با Codex CLI به عنوان قوی‌ترین حل‌کننده اول شد و ۹۸٫۳ درصد نقص‌هایی را که بازبینی کرد رفع کرد.
- ترکیب Claude Opus ۴٫۸ با هارنس
mini-swe-agentبه عنوان قوی‌ترین طراح تسک با نرخ برد ۲۷٫۳ درصد در نقش قرمز دوم شد. - در یک خانواده مدل، تسک‌های نوشته‌شده با جدیدترین نسخه یک حل‌کننده‌ی مرجع ثابت را خیلی بیشتر از نسخه‌های قدیمی شکست دادند، ۴۲٫۹ در برابر ۴٫۰ درصد، که شاهدی اولیه است بر این‌که سختی تسک با توان طراحی تسک بالا می‌رود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و نویسنده‌ها شاهد مقیاس‌پذیری سختی را «اولیه» می‌نامند؛ مقاله هنوز در داوری است.
چرا مهم است
نشت و اشباع، بنچمارک‌های کدنویسی را زود بی‌اعتبار می‌کند. میدانی که تسک‌هایش را خود ایجنت‌ها هنگام ارزیابی می‌سازند، با قوی‌تر شدن مدل‌ها خودبه‌خود سخت‌تر می‌شود.