Agents Are Systems, Not Models: Rethinking Agentic Evaluation

مسئله

ارزیابی ایجنت‌ها روزبه‌روز فراتر از یک نرخ موفقیت می‌رود و هزینه، پایداری و استحکام را هم گزارش می‌کند، اما معمولاً خود ایجنت را ثابت فرض می‌کند. در عمل ایجنت یک سیستم قابل پیکربندی است: کاربر تصمیم می‌گیرد چه بگوید، چقدر بگذارد اجرا شود و کدام مدل را به کار ببرد، و هر کدام از این انتخاب‌ها کیفیت و پایداری را تغییر می‌دهد.

روش

نویسنده‌ها این انتخاب‌ها را روی یک بنچمارک جدید با چهار تسک علمی بررسی کردند که در آن یک ایجنت کدنویسی باید یک مدل تخصصی منتشرشده را پیدا و درست اجرا کند. پنج بخش پیکربندی بررسی شد: اطلاعات تسک، استدلال، خودتأییدی، بودجه‌ی زمانی و مدل پایه، با بیش از ۱۸ هزار مسیر و یک رده‌بندی رفتاری مبتنی بر مسیر.

یافته‌ها

• تغییرپذیری بین اجراها زیاد بود: حدود ۵۴ درصد واریانس نتیجه از تکرار همان پیکربندی می‌آمد نه از تغییر آن.
• اطلاعات داده‌شده به ایجنت بیشترین اثر را داشت، بیش از بودجه‌ی زمانی و اندازه‌ی مدل، و هزینه را هم کم و کالیبراسیون را بهتر کرد.
• زمان بیشتر فقط وقتی کمک کرد که ایجنت اطلاعات کافی یا مدل توانا داشت.
• درخواست تأیید پاسخ در پرامپت اثر کمی بر رفتار تأیید داشت، اما دادن یک ابزار تأیید اختصاصی آن رفتار را به‌طور قابل توجهی تغییر داد.

محدودیت‌ها

نویسنده‌ها می‌گویند تحلیل به چهار تسک در دو حوزه‌ی علمی محدود است و اجزایی مثل حافظه و هماهنگی چندایجنتی بررسی نشده‌اند.