Robust Function Calling for LLM Agents Under Interface Drift

مسئله

ایجنتی که ابزار صدا می‌زند، به متن رابط ابزارها تکیه دارد: توضیح هر ابزار، ساختار آرگومان‌ها و فهرست ابزارهایی که در لحظه‌ی اجرا به او نشان داده می‌شود. این متن‌ها بعد از استقرار سیستم مدام عوض می‌شوند، مثلاً اسم یک آرگومان تغییر می‌کند یا ابزارهای مشابه به فهرست اضافه می‌شوند، در حالی که کار واقعی ابزار همان است. نتیجه این است که ایجنتی که دیروز درست کار می‌کرد، امروز ابزار اشتباه را صدا می‌زند. نویسنده‌ها به این پدیده «رانش رابط» می‌گویند.

روش

روش SchemaShield-Lite یک لایه‌ی ترمیم بدون آموزش است که بین مدل و ابزارها می‌نشیند. سه کار می‌کند: فراخوانی ابزار را با ساختار آرگومان‌ها چک می‌کند؛ اگر مدل اسم ابزاری را صدا زد که در فهرست نیست، دوباره با فهرست ابزارهای موجود امتحان می‌کند؛ و در آخر یک بار با محدودیت‌های مشخص از مدل می‌خواهد فراخوانی خراب را درست کند.

یافته‌ها

• روی مدل Qwen3.5-9B، دقت در بنچمارک DICE-300 از ۰٫۷۱۷ به ۰٫۸۱۳ و در BFCL-200 از ۰٫۵۸۰ به ۰٫۸۰۵ رسید؛ یعنی از ۲۲ خطایی که رانش رابط ساخته بود ۱۹ تا و از ۴۵ خطا ۳۳ تا جبران شد، بی آن‌که ترمیم جایی خرابی تازه بسازد.
• این بهبود از «دوباره امتحان کردن ساده» نمی‌آید؛ نویسنده‌ها این را جدا آزموده‌اند.
• بیشترین آسیب از تغییر فهرست ابزارها می‌آید، به‌خصوص اضافه شدن ابزارهای گمراه‌کننده‌ی شبیه هم؛ عوض شدن توضیح یا ساختار آرگومان‌ها به‌تنهایی آسیب کمتری دارد.

محدودیت‌ها

نویسنده‌ها می‌گویند بهترین شواهد فقط روی خانواده‌ی مدل‌های Qwen3.5 است و نتایج مدل‌های دیگر بیشتر حالت سقف نظری دارند تا تکرار کامل. مدل‌های بسته هم فقط در یک بررسی کوچک آزموده شده‌اند، پس با احتیاط بخوانید.