مقاله‌ی arXiv:2607.09996 · منتشرشده در کانال
Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
هو اند وِن پرو: آیا مدل‌های زبانی واقعاً می‌توانند شکست ایجنت‌ها را به علتش نسبت دهند؟
- تاریخ
- (۱۹ تیر ۱۴۰۵) 2026-07-10 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Jiale Liu, Huajun Xi, Shaokun Zhang, Yifan Zeng, Tianwei Yue, Chi Wang, Jian Kang, Qingyun Wu, Huazheng Wang
- نهاد نویسنده‌ها
- Penn State University; AG2ai, Inc.; Mohamed bin Zayed University of Artificial Intelligence; Oregon State University; Mathos AI
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
نسبت‌دهی خودکار شکست از مدل‌های زبانی استفاده می‌کند تا مشخص کند سیستم‌های ایجنتی کجا و چرا شکست می‌خورند. با تواناتر شدن ایجنت‌ها، شکست‌هایشان ظریف‌تر و نسبت‌دهی خودکار مهم‌تر می‌شود، اما برای سنجش این توانایی به برچسب‌های طلایی دقیق در مقیاس بزرگ نیاز است.
روش
بنچمارک Who&When Pro با یک خط‌لوله‌ی کاملاً کنترل‌شده ساخته شد که یک شکست را فقط پس از بازپخش دقیق یک پیشوند موفق تزریق می‌کند، تا محل خطای تعیین‌کننده معلوم باشد. نتیجه ۱۲٬۳۲۶ مسیر شکست‌خورده با برچسب طلایی در ۳ رسانه‌ی متن، تصویر و ویدیو و ۲۶ بنچمارک است که حالت‌های تک‌ایجنتی و چندایجنتی را پوشش می‌دهد. سپس آزمایش‌ها و تحلیل‌های گسترده روی مدل‌ها انجام شد.
یافته‌ها
- تحلیل‌ها الگوهای نظام‌مندی در نحوه‌ی نسبت‌دهی شکست توسط مدل‌ها بین رسانه‌ها، پروتکل‌ها و خانواده‌های مدل نشان داد.
- نویسنده‌ها یک رده‌بندی ۱۸ حالتی از شکست‌ها و راهنمایی تجربی برای سیستم‌های نسبت‌دهی آینده ارائه دادند.
محدودیت‌ها
نویسنده‌ها می‌گویند هر مسیر دقیقاً یک گام خطای تعیین‌کننده دارد، در حالی که شکست‌های واقعی ممکن است خطاهای مرکب داشته باشند، و رده‌بندی ۱۸ حالتی با تحلیل مسیرهای همین ۲۶ بنچمارک ساخته شده است. چکیده عدد مشخصی برای دقت مدل‌ها نمی‌دهد.
چرا مهم است
برای اصلاح ایجنت‌ها باید دانست کجا اشتباه کرده‌اند. این بنچمارک بزرگ‌ترین مجموعه‌ی برچسب‌دار برای سنجش این توانایی را می‌دهد.