ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets

مسئله

نمره‌ی موفقیت یک ایجنت ابزاری هم به مدل بستگی دارد و هم به بودجه‌های هارنسی که اجرایش می‌کند، مثل سقف توکن خروجی یا تعداد مجاز فراخوانی. معمولاً این دو از هم جدا نمی‌شوند و شکست به گردن مدل می‌افتد.

روش

بنچمارک ToolBottleneckBench تسک‌های سازمانی ساختگی را ثابت نگه می‌دارد و هر بار فقط یک فشار را تغییر می‌دهد: تعداد ابزارهای ثبت‌شده، فهرست ابزارهایی که به مدل نشان داده می‌شود، روال کاری تأییدشده، یا قالب رکوردهای برگشتی. یک ارزیاب دقیق برای هر اجرای ناموفق اولین تعهد انجام‌نشده و محدودیت هارنسی را که اجرا را تمام کرده ثبت می‌کند. این کار روی ۲۱ پیکربندی مدل و هارنس انجام شد.

یافته‌ها

• از میان فشارهایی که مستقیم روی مدل اثر دارند، فقط بزرگ شدن فهرست ابزارهای نمایش‌داده‌شده جریمه‌ی بزرگی دارد، و این جریمه بیشتر از بریده شدن خروجی در سقف توکن می‌آید: فهرست بزرگ‌تر، مدل را پیش از اولین فراخوانی به سقف می‌رساند.
• بالا بردن سقف خروجی به ۱۶ برابر، در شش پیکربندی‌ای که بیشترین بریدگی را داشتند، جریمه را از حدود ۴۴ واحد درصد به حدود ۳ رساند.
• بیشتر شکست‌ها در یک محدودیت هارنس تمام می‌شوند، و فقط دو اصلاح، که هیچ‌کدام رفتار مدل را بهتر نمی‌کنند، از همه‌ی تغییرهای پیکربندی بهتر بودند.

محدودیت‌ها

نویسنده‌ها می‌گویند یافته‌ها در همان بودجه‌های ثابت هارنس معتبرند. فقط سقف خروجی تغییر داده شده و آزمایش ۱۶ برابری فقط یک سقف بالا را روی ۸ پیکربندی سنجیده است. ارائه‌دهنده‌ها سقف را متفاوت می‌شمارند.