Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments

مسئله

داورهای فراخوانی ابزار مقدار آرگومان‌هایی را که ایجنت پیشنهاد داده ارزیابی می‌کنند. نویسنده‌ها دیدند وقتی در ورودی داور هیچ متنی نیست که بگوید مقدار باید چه باشد، داور مقدار درست را کمتر می‌پذیرد. این در سه حالت پیش می‌آید: مقدار پیش‌فرض طرح‌واره‌ی تابع است که کاربر اسمش را نبرده، باید استنباط شود، یا متنی که مقدار از آن آمده از ورودی داور بریده شده است. اسم این افت را «شکاف استنتاج» گذاشته‌اند.

روش

نویسنده‌ها این شکاف را در هفت داور بررسی کردند و یک آزمون کنترل‌شده‌ی جابه‌جایی منبع ساختند. بعد روش DeRef را پیشنهاد کردند: یک مدل جدا کل تاریخچه را بدون دیدن مقدار نامزد می‌خواند و برای داور یک مرجع می‌نویسد که می‌گوید مقدار درست چه باید باشد.

یافته‌ها

• شکاف در هر هفت داور دیده شد، از جمله مدل‌های CLM و Jev. این فقط اثر بریده شدن متن نیست: مقدارهای پیش‌فرض درست در بنچمارکی بدون بریدگی بزرگ‌ترین شکاف را داشتند.
• در آزمون کنترل‌شده، داورها یک مقدار غلط که در ورودی دیده می‌شد را به مقدار درستی که منبعش پنهان بود ترجیح دادند.
• روش DeRef در سه بنچمارک، دقت تشخیص همه‌ی داورها را بالا برد و در آزمون کنترل‌شده آن را از سطح شانس یا پایین‌تر به ۹۸٫۴ تا ۹۹٫۶ (معیار AUROC) رساند.

محدودیت‌ها

نویسنده‌ها می‌گویند هر آرگومان در داده‌شان فقط یک مقدار درست دارد، پس مرجعی که آن را نام می‌برد ممکن است داور را به رد کردن مقدار درست دیگری بکشاند. برچسب‌های غلط در دو دیتاست هم ساخته‌ی خودشان است و ۳ تا ۴ درصدشان در بازبینی تأیید نشد.