Coding-Agent Benchmarks Should Match Their Users' Task Flows

مسئله

ارزیابی ایجنت‌های کدنویسی می‌کوشد تا حد ممکن واقع‌گرا باشد، اما بنچمارک‌های برگرفته از گزارش‌های مشکل فقط یک نوع درخواست را می‌سنجند. در واقعیت کاربران در یک جلسه سؤال می‌پرسند، برنامه‌ریزی می‌کنند، بازبینی و بازسازی می‌خواهند و مدام بین این نوع‌ها جابه‌جا می‌شوند.

روش

نویسنده‌ها ۴۷۸۲ جلسه‌ی ایجنتی مهندسان واقعی در محیط‌های توسعه‌ی JetBrains را جمع کردند و جلسه‌های با دست‌کم سه پیام کاربر، یعنی ۳۳ درصد نمونه، را بررسی کردند. روش SWE-TaskFlow هر بنچمارک برگرفته از گزارش مشکل را تبدیل می‌کند: تسک‌ها و تست‌های تأییدشده را حفظ می‌کند اما با تقسیم پرامپت و پرسش و پاسخ قابل تأیید درباره‌ی مخزن، تعامل را به سمت یک جریان تسک هدف هدایت می‌کند، و یک امتیاز هم‌راستایی برای انتخاب بین مسیرهای تولیدشده دارد.

یافته‌ها

• جلسه‌های طولانی واقعی دو تفاوت با تسک‌های بنچمارک دارند: درخواست‌ها طیف خیلی گسترده‌تری از نوع تسک را پوشش می‌دهند و کاربران در طول جلسه بین نوع‌ها جابه‌جا می‌شوند.
• نمونه‌های جلسه‌ی طولانی از سه مجموعه‌ی عمومی تعامل، جریان‌های تسک خیلی متفاوتی دارند، پس هیچ توزیع تعاملی به‌طور جهانی واقع‌گرا نیست و بنچمارک‌ها باید یک کاربرد هدف را نام ببرند.
• در یک آزمایش روی ۷۰۰ تسک SWE-Bench Pro، حل تسک به‌صورت مرحله‌ای در چند گام هزینه‌ی ایجنت را تقریباً دو برابر کرد بدون تغییر پایدار در نرخ حل؛ پس خود پروتکل تعامل بُعد مهمی از ارزیابی است.

محدودیت‌ها

نویسنده‌ها می‌گویند جلسه‌های تولیدی طولانی فقط یک کاربرد را تعریف می‌کنند و دسته‌بند نیت مجموعه‌ی دقت برچسب‌خورده با انسان ندارد؛ روش هنوز برای بیشتر نوع‌های نیت کاربر افزونه ندارد.