SWEeper-Bench: Can Agents Discover Bugs in Interactive Software?

مسئله

ایجنت‌های کدنویسی بیشتر به جای پاسخ متنی، نرم‌افزار تعاملی می‌سازند، ولی بسیاری از باگ‌های چنین نرم‌افزاری فقط بعد از تعامل چندمرحله‌ای ظاهر می‌شوند. امروز کاربر باید باگ را پیدا کند و منتظر رفع آن بماند. بنچمارک‌های موجود معمولاً فرض می‌کنند باگ از قبل شناخته شده است.

روش

بنچمارک SWEeper-Bench شامل ۲۰۰ تسک از رفع باگ‌های واقعی در ۲۰۰ برنامه‌ی وب متن‌باز پرکاربرد است. هر تسک فقط کد و یک درخواست باز به ایجنت می‌دهد، مثلاً «مشکلات اشتراک‌گذاری برد و عضویت در Focalboard را پیدا و رفع کن». چون این باگ‌ها از روی کد سخت پیدا می‌شوند، ایجنت باید آزمون تعاملی طراحی کند. یک تأییدکننده‌ی ایجنتی هر ترمیم را بر اساس آنچه کاربر در مرورگر می‌بیند داوری می‌کند.

یافته‌ها

• بهترین ایجنت از ۱۵ ایجنت پیشرو فقط ۵۹ درصد تسک‌ها را پاس کرد.
• بزرگ‌ترین گلوگاه شناسایی رفتار باگ‌دار است: ایجنت‌ها اغلب به قابلیت مرتبط می‌رسند ولی هرگز شکست را فعال نمی‌کنند یا آن را تشخیص نمی‌دهند.
• ایجنت‌ها وقتی گزارش باگ داشته باشند آن را قابل اعتماد رفع می‌کنند؛ فاصله در آزمودن است، نه ترمیم.

محدودیت‌ها

نویسنده‌ها می‌گویند بنچمارک فقط برنامه‌های وب را پوشش می‌دهد و برای هر تسک یک باگ شناخته‌شده را امتیاز می‌دهد، پس بازیابی را می‌سنجد نه دقت؛ رفع مشکلات واقعی دیگر امتیازی ندارد و تغییرهای غیرضروری جریمه نمی‌شوند.