TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

مسئله

امتیاز تأییدکننده‌ها هم معیار بنچمارک است و هم پاداش آموزشی ایجنت‌ها، و تغییر امتیاز معمولاً تغییر توانایی خوانده می‌شود. اما ممکن است فقط تغییر در خود ارزیابی باشد؛ مثلاً اگر فقط نام ابزارها عوض شود و امتیاز افت کند، ممکن است قاعده‌ی امتیازدهی به نام‌ها حساس باشد نه این‌که ایجنت بدتر شده باشد.

روش

پروتکل TRACE تغییر امتیاز را از یک حکم به یک تشخیص قابل آزمون تبدیل می‌کند: یک تغییر هدفمند در یک بخش ارزیابی اعمال می‌کند، اجراهای جفتی را مقایسه می‌کند، بررسی می‌کند آیا رفتار ایجنت تغییر کرده، و مسیرهای بدون تغییر را دوباره امتیاز می‌دهد تا ببیند آیا قاعده‌ی امتیازدهی مسئول است.

یافته‌ها

• در ۲۵ تسک مصنوعی کنترل‌شده، تغییر نام ابزارها امتیاز یک ایجنت اسکریپتی را ۰٫۲۵۰ کم کرد با این‌که دقیقاً همان عملیات را انجام می‌داد، و بازگرداندن نام‌ها در زمان امتیازدهی کل فاصله را بست.
• در یک مطالعه‌ی بزرگ‌تر روی ۸۸ تسک تازه از τ²-bench با اجراهای تکراری، تغییر نام ابزار یا قالب خروجی در هفت جفت از هشت جفت ایجنت و تغییر، پاداش را در محدوده‌ی ۰٫۱۰ ثابت نگه داشت، اما نام‌های عمداً گمراه‌کننده پاداش همه‌ی ایجنت‌ها را ۰٫۲۰ تا ۰٫۴۴ کم کرد.
• اجراهای کاملاً یکسان ۱۵ تا ۳۶ درصد نتیجه‌ها را برعکس کردند، پس مقایسه‌ی تک‌اجرایی نمی‌تواند اثر نمایش را از تغییر تصادفی جدا کند.
• دو داور مدل زبانی پیشرو وقتی یک مسیر ثابت متفاوت نمایش داده شد حکم سازگار دادند، اما روی ۵۷ درصد همان رکوردها با هم مخالف بودند، عمدتاً چون یکی روند را داوری می‌کرد نه نتیجه را.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ مطالعه‌ی اولیه‌ی ۳۰ تسکی یک اثر روشن پیدا کرد که تکرار نشد، و نویسنده‌ها به همین دلیل مطالعه‌ی بزرگ‌تری انجام دادند.