An Empirical Study of Agent Skills' Downstream Utility

مسئله

مهارت‌های ایجنت راهنمایی رویه‌ای و منابع را برای استفاده‌ی مجدد بسته‌بندی می‌کنند، اما یک مهارت مرتبط لزوماً کارایی را بهتر نمی‌کند. مطالعه‌های موجود محتوای مهارت را توصیف و کارایی را ارزیابی می‌کنند، اما توضیح کمی می‌دهند که سودمندی چطور به محتوا، پیکربندی اجرا و سازمان‌دهی چند مهارت بستگی دارد.

روش

نویسنده‌ها روی ۸۷ تسک SkillsBench، سودمندی را تفاوت نرخ پاس با حالت بدون مهارت در همان پیکربندی مدل و هارنس تعریف کردند. همان مهارت‌ها را در نه پیکربندی مقایسه کردند، سپس مهارت‌های منتشرشده‌ی جایگزین از یک مجموعه‌ی ۳۷۵۹۶ مهارتی و سازمان‌دهی‌های مختلف یک مجموعه‌ی ثابت را بررسی کردند. تحلیل محتوا، ردپاهای اجرا و خروجی نهایی با کمک مدل زبانی و بازبینی نویسنده‌ها انجام شد.

یافته‌ها

• همان مهارت‌ها در ۳۶٫۷۸ درصد تسک‌ها به بعضی پیکربندی‌ها کمک و به بعضی آسیب زدند، و ردپاها نشان داد رویه‌های توصیه‌شده می‌توانند بار اجرایی شوند.
• رتبه‌بندی بر اساس ربط نامزدهای مفیدتر را نادیده می‌گیرد؛ رتبه‌بندی دوباره بر اساس پشتیبانی از عملیات لازم، نرخ پاس انتخاب اول را در سه پیکربندی ۴٫۳۵ تا ۵٫۸۰ واحد درصد بالا برد.
• ۱۷ رویه‌ی نگارش مهارت استخراج شد، و سازمان‌دهی با برنامه‌ی مرحله‌ای و گراف وابستگی از ترتیب استفاده به تنهایی بهتر بود؛ سود اضافه‌ی گراف در تسک‌های با پنج یا شش مهارت متمرکز بود.

محدودیت‌ها

نویسنده‌ها می‌گویند معیار سودمندی فقط تکمیل تسک را می‌سنجد و تکمیل جزئی و هزینه‌ی اجرا را در بر نمی‌گیرد؛ تحلیل محتوا با کمک مدل زبانی انجام شده است.