SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

مسئله

بنچمارک SWE-Bench Pro استاندارد ارزیابی ایجنت‌های مهندسی نرم‌افزار روی تسک‌های دشوار سطح مخزن شده است، اما ارزیابی‌اش دو منبع عدم اطمینان دارد: تقلب در پاداش از طریق نشت راه‌حل طلایی یا اطلاعات پنهان ارزیابی، مثلاً خواندن پاسخ از تاریخچه‌ی گیت؛ و مشکلات کیفیت تسک مثل صورت مسئله‌ی گمراه‌کننده و تست‌هایی با دامنه‌ی نادرست.

روش

نویسنده‌ها نسخه‌ی تأییدشده‌ای با ۷۳۱ نمونه ساختند. حفاظ‌های ضدتقلب کانال‌های اصلی نشت محلی و آنلاین را با بازسازی مخزن، پنهان کردن مصنوعات تست و ناشناس کردن فراداده بدون اختلال در کار عادی ایجنت می‌بندند. اصلاح تسک با فیلتر و پیش‌نویس اصلاح به کمک مدل زبانی و سپس بازنگری کمینه توسط متخصصان انسانی ناسازگاری‌های نمونه‌های معیوب را رفع می‌کند.

یافته‌ها

• ارزیابی روی نسخه‌ی تأییدشده نشان داد برخی مدل‌ها به‌طور قابل توجهی بدتر از ارزیابی‌های قبلی عمل می‌کنند.
• این یعنی نتایج موجود روی SWE-Bench Pro ممکن است توانایی واقعی مهندسی نرم‌افزار را بیش از واقع نشان دهند.

محدودیت‌ها

نویسنده‌ها می‌گویند فهرست دامنه‌های مسدود ممکن است همه‌ی سرویس‌های گیت خودمیزبان، پروکسی‌ها، آینه‌های کد یا دسترسی مستقیم با IP را پوشش ندهد و مدل‌های تواناتر ممکن است این کنترل‌ها را دور بزنند، پاک‌سازی داده‌ی ارزیابی ممکن است اطلاعات باقیمانده‌ی کمی بگذارد، و فرایند اصلاح ممکن است همه‌ی مشکلات کیفیت را پیدا نکند. چکیده اندازه‌ی افت امتیازها را نمی‌گوید.