SkillBrowser: Selective Skill Exposure for Scalable Skill-Using Agents

مسئله

ایجنت‌ها برای کارهای پیچیده به اسکیل تکیه می‌کنند: بسته‌های دستورالعمل آماده برای یک نوع کار. وقتی کتابخانه‌ی اسکیل بزرگ می‌شود، دو راه رایج هر دو مشکل دارند. اگر فهرست همه‌ی اسکیل‌ها را به مدل نشان بدهی (روش «افشای تدریجی»)، کانتکست پر از توضیحات بی‌ربط می‌شود. اگر فقط یک بار و از روی متن اولیه‌ی تسک چند اسکیل را بازیابی کنی، نیازهایی که وسط استدلال پیدا می‌شوند دیده نمی‌شوند و گاهی اسکیل بی‌ربطی هم وارد کانتکست می‌شود که استدلال مدل را به هم می‌زند.

روش

سیستم SkillBrowser یک «فرا-اسکیل» به ایجنت می‌دهد که مدیریت بقیه‌ی اسکیل‌ها با آن است. ایجنت وسط کار تشخیص می‌دهد الان چه توانایی‌ای کم دارد، برای همان یک جست‌وجوی هدفمند می‌نویسد و فقط اسکیل مرتبط را همان لحظه بار می‌کند. یعنی به جای یک بازیابی ثابت در شروع کار، انتخاب اسکیل در طول استدلال و بر اساس نیاز واقعی انجام می‌شود.

یافته‌ها

• در شش زیرمجموعه‌ی بنچمارک SRA-Bench و با پنج مدل زبانی، دقت کلی از بازیابی ثابت و از انتخاب اسکیل توسط خود مدل بیشتر شد، از جمله در کارهای چندمرحله‌ای با ابزار.
• افت دقت روی مسئله‌هایی که مدل بدون اسکیل هم حلشان می‌کرد کمتر شد؛ یعنی اسکیلِ اضافه کمتر مزاحم شد.
• سود روش به مدل و نوع تسک بستگی دارد و یکسان نیست.

محدودیت‌ها

نویسنده‌ها می‌گویند مدل‌ها گاهی اسکیل مفید را صدا نمی‌زنند، مخصوصاً در مسئله‌هایی که شبیه استدلال معمولی‌اند (مثل LogicBench و CHAMP)، و این روش تأخیر اضافه دارد. آزمایش‌ها هم روی یک مخزن اسکیل ثابت انجام شده و اضافه یا حذف شدن اسکیل در طول زمان آزموده نشده است.