Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard

مسئله

ارزیابی ایجنت‌ها برای مقایسه‌ی مدل‌ها و تصمیم‌های استقرار به کار می‌رود، اما رتبه‌ها می‌توانند نه فقط مدل بلکه اثر شرایط ارزیابی مثل داربست یا تسک‌ها را هم منعکس کنند. پس قابلیت اطمینان به ادعا بستگی دارد: ارزیابی‌ای که سیستم‌های مستقر را قابل اعتماد رتبه‌بندی می‌کند ممکن است مدل‌های زیربنایی را قابل اعتماد رتبه‌بندی نکند.

روش

نویسنده‌ها یک چارچوب تجزیه‌ی واریانس بیزی برای جدول‌های رتبه‌بندی پراکنده و نامتوازن ایجنت‌ها ساختند و آن را روی ۲۲ بنچمارک از Holistic Agent Leaderboard و Harbor Index اعمال کردند. چارچوب سیگنال، یعنی تفاوت‌های کارایی مرتبط با ادعا، را از نویز، یعنی تغییرات نامرتبطی که همچنان می‌توانند رتبه را عوض کنند، جدا می‌کند.

یافته‌ها

• سیستم‌های ثابت مدل و داربست قابل اعتماد رتبه‌بندی می‌شوند (۰٫۹۳۵ تا ۰٫۹۹۴)، اما قابلیت اطمینان برای مدل زیربنایی بسیار کمتر است (۰٫۱۴۸ تا ۰٫۸۴۱).
• انتخاب داربست می‌تواند نتیجه‌گیری را عوض کند و اثرش بین ارزیابی‌ها بسیار متفاوت است.
• وقتی عدم قطعیت از پوشش محدود داربست‌ها می‌آید، حتی بی‌نهایت تسک مشابه قابلیت اطمینان رتبه‌بندی مدل را حداکثر ۰٫۰۹۷ بالا می‌برد.
• ترکیب بنچمارک‌های متنوع قابلیت اطمینان پیش‌بینی‌شده را با همان بودجه‌ی تسک از ۰٫۴۴ به ۰٫۷۵ می‌رساند و می‌تواند هزینه را تا ۸۳ درصد کم کند.

محدودیت‌ها

نویسنده‌ها می‌گویند قابلیت اطمینان لازم است اما برای اعتبار کافی نیست: کران‌های تخمین‌زده نشان می‌دهند بنچمارک چقدر پایدار تمایز می‌گذارد، نه این‌که رتبه‌ها با توانایی واقعی مطابق‌اند؛ یک بنچمارک می‌تواند قابل اعتماد اما نامعتبر باشد.