One Task, Many Interfaces: Simple Cross-Interface Consistency Training Improves LLM Agent Robustness

مسئله

پس‌آموزش، توانایی ایجنت را به رابطی که روی آن آموزش دیده گره می‌زند. تغییرهایی که معنا را عوض نمی‌کنند، مثل تغییر نام یک اقدام یا نمادگذاری، تسک را ثابت نگه می‌دارند ولی ایجنت را بدتر می‌کنند. تصادفی کردن رابط در آموزش هم فقط وابستگی را از یک رابط به توزیع رابط‌های آموزشی گسترش می‌دهد و تغییرهای بیرون از آن هنوز به ایجنت آسیب می‌زنند.

روش

روش CIPR یک هدف خودنظارتی است که نام اقدام‌ها را با شناسه‌های بی‌معنا عوض می‌کند و هر نمونه‌ی آموزشی را زیر دو رابط نشان می‌دهد که اقدام‌های معادل در آن‌ها از پیش معلوم‌اند. واگرایی KL بین توزیع اقدام‌ها در دو رابط جریمه می‌شود تا سیاست در هر دو یکسان رفتار کند. روش در آموزش نظارت‌شده و یادگیری تقویتی آزموده شد.

یافته‌ها

• در فراخوانی تابع ایجنتی، تغییرهای رابطِ دیده‌نشده دقت ایجنت پس‌آموزش‌دیده را نزدیک ۲۵ درصد پایین آورد.
• روش CIPR ۱۰٫۵ درصد از این افت را جبران کرد و دقت روی رابط بدون تغییر را دست‌نخورده نگه داشت.

محدودیت‌ها

نویسنده‌ها می‌گویند روش در زمان اجرا به یک تطبیق‌دهنده‌ی استانداردسازی نیاز دارد، چون نامی که اقدامش را غلط معرفی کند هنوز ایجنت را گمراه می‌کند. فقط انتخاب ابزار را مقید می‌کند و خطای آرگومان‌ها تقریباً عوض نمی‌شود، و تغییری با معادل‌های معلوم لازم دارد که برای فهرست ابزار ساده ولی برای اقدام‌هایی مثل ویرایش برنامه سخت است.