AgentSWE: Can Coding Agents Build the Agent You Actually Want?

مسئله

ایجنت‌های کدنویسی بیشتر مأمور ساختن ایجنت‌هایی برای گردش کار کاربرانشان می‌شوند. این واگذاری فرض می‌کند ایجنت تحویلی واقعاً نیازی را که برایش ساخته شده برآورده می‌کند، نه این‌که فقط ظاهرش این‌طور باشد. هیچ بنچمارکی این فرض را نمی‌آزمود.

روش

بنچمارک AgentSWE سه مرحله از چرخه‌ی توسعه‌ی ایجنت را پوشش می‌دهد: ساختن یک ایجنت کامل از نیاز زبان طبیعی، ویرایش کد ایجنت‌های تولیدی، و بهینه‌سازی به سمت یک هدف قابل اندازه‌گیری. هر یک از ۲۵ تسک مثل یک سفارش است، نه امتحان: سازنده با چند مورد نمونه کار می‌کند، اما پذیرش، نسخه‌ی ثابت‌شده را روی موارد کنارگذاشته‌ای که کل نیاز را پوشش می‌دهند با معیارهای برگرفته از نیاز و دروازه‌های سخت پاس یا رد می‌سنجد.

یافته‌ها

• هیچ ایجنت کدنویسی، در مدل‌ها و هارنس‌های مختلف، به تحویل آنچه نیاز می‌خواهد نزدیک نشد؛ قوی‌ترین‌ها در ساختن به‌طور میانگین ۱۹٫۱ و در ویرایش ۳۱٫۶ گرفتند.
• در بهینه‌سازی، هیچ‌کدام به‌طور میانگین بیش از ۵ درصد فاصله‌ی باقی‌مانده تا هدف را نبستند؛ فاصله‌ی بین آنچه سازنده نشان می‌دهد و آنچه تحویل می‌دهد قاعده است، نه استثنا.
• حالت‌های شکست تکرارشونده شامل بیش‌برازش روی موارد دیده‌شده، زمان اجرای توخالی پشت کدی که کامل به نظر می‌رسد و ادعای تکمیل بدون پشتوانه است.

محدودیت‌ها

نویسنده‌ها می‌گویند مقایسه‌ی اصلی و مطالعه‌های هارنس هر جفت سازنده و تسک را فقط یک بار ساخته‌اند، و هدف‌های بهینه‌سازی بین ارزیابی‌های تکراری یک ایجنت تغییر می‌کنند.