مقاله‌ی arXiv:2610.13889 · در صف خبرنامه
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
بازیابی ابزار آگاه از قابلیت اطمینان: کنار گذاشتن ابزارهایی که در لحظه از کار افتاده‌اند
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Weiliang Chen, Song Liao
- نهاد نویسنده‌ها
- Texas Tech University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌ها بیشتر به ابزارهای بیرونی تکیه می‌کنند و بازیابی درست ابزار برای رفتار قابل اعتماد لازم است. روش‌های موجود ارتباط معنایی را بهینه می‌کنند ولی در دسترس بودن ابزار در زمان اجرا را نادیده می‌گیرند؛ مثلاً API آب‌وهوایی که از نظر معنایی بهترین گزینه است ولی الان از کار افتاده، همچنان اول انتخاب می‌شود.
روش
چارچوب RATED تطبیق معنایی مقاوم را با تطبیق پویای قابلیت اطمینان ترکیب می‌کند. یک رمزگذار دوگانه‌ی منجمد با تنظیم دقیق مقایسه‌ای برای تطبیق معنایی، و یک ماژول سبک «راهزن کانتکستی» که نامزدها را بر اساس بازخورد اجرای زنده بازرتبه‌بندی می‌کند، بدون آموزش دوباره‌ی گران مدل. بنچمارک EcoAgent با ۵۱۷۲ ابزار واقعی و بیش از ۲۱۰ هزار جفت پرسش و ابزار برای ارزیابی آفلاین و پویا ساخته شد.
یافته‌ها
- روی پرسش‌های واقعی، ۵۲٫۲ درصد بهبود نسبی در معیار MRR نسبت به بازیاب API در ToolLLM داشت.
- در سناریوی قطعی شدید API با نرخ خرابی ۳۰ درصد، نرخ انتخاب ابزار خراب را از ۸۶٫۲ به ۲٫۹ درصد کم کرد.
- تأخیر اضافه‌اش نسبت به استنتاج فقط با رمزگذار کمتر از ۱ میلی‌ثانیه بود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ خرابی‌ها در ارزیابی پویا تزریق‌شده‌اند نه مشاهده‌شده در ترافیک واقعی.
چرا مهم است
ابزارهای واقعی گاهی از کار می‌افتند و ایجنتی که مدام ابزار خراب را صدا می‌زند وقت و پول هدر می‌دهد. این کار راهی ارزان برای در نظر گرفتن وضعیت لحظه‌ای ابزارها در بازیابی نشان می‌دهد.