Judged Useless, Queried Anyway: Tool-Using Agents Rarely Turn Their Own Evidence Judgments into Stopping Decisions

مسئله

ایجنتی که ابزارش مدام نتیجه‌ی بی‌فایده برمی‌گرداند باید از اتکا به آن دست بکشد. سؤال این است که آیا ایجنت‌ها قضاوت خودشان درباره‌ی بی‌فایده بودن نتیجه‌ها را واقعاً در تصمیم توقف به کار می‌برند یا نه.

روش

نویسنده‌ها در یک محیط بازیابی با شکست‌های کنترل‌شده‌ی منبع، قضاوت ایجنت درباره‌ی نتیجه‌ها را از عملش جدا کردند. توقف در یک گام یکسان پس از دنباله‌های بلندتر و کوتاه‌تر از نتیجه‌هایی که ایجنت بی‌فایده دانسته مقایسه شد؛ این مقایسه برای توقف مبتنی بر ساعت یا مهلت صفر است. هفت ایجنت آزموده شدند و یک تکرار از پیش ثبت‌شده روی ۳۰۰ پرسش تازه انجام شد.

یافته‌ها

• ایجنت‌ها در ۹۷ تا ۱۰۰ درصد موارد نتیجه‌های منبع خراب را بی‌فایده می‌خوانند، اما بیشترشان به‌ندرت بر اساس این قضاوت متوقف می‌شوند.
• نشانه‌های پرامپت زمان توقف را تغییر می‌دهند ولی نه دلیل آن را: اجازه‌ی پاسخ از حافظه و حالت استدلال توقف زودهنگام بدون توجه به شواهد می‌آورند، بودجه‌ی اعلام‌شده توقف مدل‌های ۷ و ۸ میلیاردی را به مهلت می‌برد و قاعده‌ی توقف یا هزینه‌ی فراخوانی در پرامپت حداکثر تا حدی رعایت می‌شود.
• توقف فقط وقتی از شواهد پیروی می‌کند که هارنس یک گام یکپارچه‌سازی را اعمال کند که ایجنت را پس از پنج نتیجه‌ی پیاپی بی‌فایده وادار به پاسخ کند؛ این قاعده موفقیت را برای همه‌ی مدل‌ها بالا برد و با دو برابر شدن بودجه نقطه‌ی توقف را ثابت نگه داشت.

محدودیت‌ها

نویسنده‌ها می‌گویند شکست‌ها با جایگزینی مشاهده‌ها در پایگاه دانش ثابت شبیه‌سازی شده‌اند، در حالی که ابزارهای واقعی نتیجه‌ی ناقص، کهنه یا غلط هم برمی‌گردانند، و آستانه‌ی قاعده برای منبعی انتخاب شده که حداکثر پس از سه شکست بازیابی می‌شود.