Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale

مسئله

اسکیل‌های قابل استفاده‌ی دوباره به ایجنت اجازه می‌دهند دستورهای خاص تسک را هنگام نیاز بارگذاری کند، اما اجرا را وابسته به مسیریابی ضمنی روی فراداده‌ی اسکیل‌ها می‌کنند: ایجنت باید از روی نام و توضیح، خودش اسکیل درست را پیدا کند. سؤال این است که این طراحی با بزرگ شدن کتابخانه مقیاس‌پذیر است یا نه.

روش

نویسنده‌ها تسک‌های SkillsBench و اسکیل‌های طلایی‌شان را ثابت نگه داشتند و اسکیل‌های نامرتبط اضافه کردند. سپس پنهان کردن توضیح‌ها، برنامه‌ریزی صریح استفاده از اسکیل و پیش‌انتخاب صریح را به عنوان راه‌حل آزمودند.

یافته‌ها

• «فروپاشی مسیریابی اسکیل» دیده شد: با ۱۰۰۰ اسکیل نامرتبط، بازیابی اسکیل بارگذاری‌شده از ۷۳٫۶ به ۲۷٫۴ درصد افت کرد و نرخ بارگذاری صفر از ۹٫۳ به ۵۱٫۶ درصد رسید، در حالی که انتخاب صریح از همان کتابخانه ۷۳٫۹ درصد را حفظ کرد.
• بارگذاری اسکیل‌های دیگر، حتی جایگزین‌های معقول، آن‌قدر نادر بود که این افت را توضیح نمی‌داد.
• پنهان کردن فقط توضیح‌های اسکیل‌های نامرتبط بارگذاری را تا حد زیادی برگرداند، اما با فراداده‌ی دست‌نخورده، درخواست صریح برنامه‌ریزی هنوز از پیش‌انتخاب ضعیف‌تر بود؛ این به تداخل معنایی توضیح‌ها و تداخل دستوری بین انتخاب اسکیل و اجرای تسک اشاره دارد.

محدودیت‌ها

نویسنده‌ها می‌گویند به دلیل بودجه، تأیید با مدل‌های تجاری فقط یک زیرمجموعه‌ی ۳۷ تسکی را پوشش می‌دهد، و آزمایش پنهان کردن در سطح فیلد با زیرمجموعه‌ی کوچک‌تر و تکرار کمتری انجام شده است.