مقاله‌ی arXiv:2610.18090 · در صف خبرنامه
AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses
ایجنت‌ها با تسک‌های مبهم یا ناقص چه می‌کنند؟ بنچمارکی روی ترکیب‌های مختلف مدل و هارنس
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Kaiyu Huang, Yiting Li, Angyang Gu, Pinjia He, Minchen Yu, Qingjiang Shi
- نهاد نویسنده‌ها
- Tongji University, The Chinese University of Hong Kong (Shenzhen)
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
تعریف مبهم یا ناقص تسک هم اجرا را برای ایجنت سخت می‌کند و هم پرسیدن سؤال روشن‌کننده را. اما واکنش ایجنت‌ها به این شکاف‌های اطلاعاتی در مدل‌ها و هارنس‌های مختلف به‌خوبی شناخته نشده است؛ مثلاً اگر کاربر نگوید خروجی باید با چه قالبی ذخیره شود، ایجنت می‌پرسد، حدس می‌زند یا کار را نیمه‌کاره می‌گذارد؟
روش
بنچمارک AM-Bench از ۴۸ تسک برگرفته از Terminal-Bench ۲٫۰ و Harness-Bench ساخته شده است. هر تسک یک نسخه‌ی کامل و شش نسخه‌ی ناقص دارد که در آن‌ها هدف، کانتکست یا محدودیت‌ها مبهم یا حذف شده‌اند. همه‌ی ترکیب‌های پنج مدل و چهار هارنس در ۲۰۱۶۰ اجرا ارزیابی شدند.
یافته‌ها
- شکاف‌ها اثرهای متفاوتی دارند: شکاف هدف جلوی تمام شدن کار را می‌گیرد، شکاف کانتکست مصرف توکن را بالا می‌برد، و شکاف محدودیت رعایت قواعد را ضعیف می‌کند بدون این‌که لزوماً جلوی تمام شدن کار را بگیرد. در هر سه حوزه، حذف اطلاعات از ابهام آسیب بیشتری زد.
- برتری‌هایی که با اطلاعات کامل دیده می‌شود لزوماً باقی نمی‌ماند و رتبه‌بندی به ترکیب مدل و هارنس و معیار ارزیابی بستگی دارد.
- برآوردها نشان می‌دهد پرسیدن سؤال روشن‌کننده می‌تواند کارهای نیمه‌تمام را جبران کند، ولی بیشتر نقض‌های محدودیت را حل نمی‌کند.
محدودیت‌ها
اثر سؤال روشن‌کننده فقط برآورد شده، نه مستقیم آزموده؛ نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند.
چرا مهم است
در کار واقعی تقریباً هیچ دستوری کامل نیست. این بنچمارک نشان می‌دهد مقایسه‌ی ایجنت‌ها فقط با تسک‌های کامل گمراه‌کننده است و پیشنهاد می‌کند ایجنت پیش از عمل‌های وابسته، خواسته‌های حل‌نشده را مشخص بپرسد.