مقاله‌ی arXiv:2610.00372 · منتشرشده در کانال
When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents
وقتی هارنس سیگنال را گم می‌کند: ارزیابی علّی بازیابی از خطا در ایجنت‌ها
- تاریخ
- (۸ مهر ۱۴۰۵) 2026-09-30 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Shuyao Xiao, Shengling Wang, Xuan Chen, Ke Chao, Ming Cui, Feifei Qian, Chaoyang Mei, Fanlin Meng, Ziming Yu, Junxi Yin
- نهاد نویسنده‌ها
- School of Artificial Intelligence, Beijing Normal University; Ke Holdings
خلاصه‌ی فارسی
مسئله
ایجنت‌ها برای انتقال اطلاعات بین مدل و محیط و بازیابی از خطاهای اجرا به هارنس تکیه دارند، اما بازیابی معمولاً فقط با میانگین موفقیت تسک قضاوت می‌شود. این یک تنش مهم را پنهان می‌کند: همان عملیات می‌تواند یک مسیر شکست‌خورده را نجات دهد یا مسیری را که موفق می‌شد به هم بزند.
روش
نویسنده‌ها بازیابی را یک مسئله‌ی تصمیم علّی دیدند: از همان وضعیت اجرا، نتیجه با و بدون بازیابی مقایسه می‌شود، نجات از آسیب جدا می‌شود و تغییر ارزش بازیابی در طول زمان بررسی می‌شود. سپس مسیریاب مداخله‌ی علّی CIR را معرفی کردند، سیاستی سبک که با اطلاعات موجود پیش از بازیابی تصمیم می‌گیرد کِی مداخله ارزش دارد.
یافته‌ها
- روی تسک‌های بلندمدت ALFWorld با Qwen3-14B، موفقیت را از ۷۰٫۳۳ به ۷۳٫۳۳ درصد رساند، یعنی ۳٫۰۰ واحد درصد بهبود.
- همه‌ی مسیرهای ارزیابی‌شده با مشاهده‌ی درست را دست‌نخورده گذاشت.
- کنترل‌های اضافه نشان داد سود بازیابی فقط با مشاهده‌ی جدید برگشتی از محیط توضیح داده نمی‌شود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نتایج روی یک محیط و یک مدل گزارش شده و بهبود ۳ واحد درصدی است.
چرا مهم است
سازوکارهای بازیابی خطا معمولاً همیشه فعال‌اند و فرض می‌شود ضرری ندارند. این کار نشان می‌دهد بازیابی گاهی آسیب می‌زند و باید انتخابی اعمال شود.