Skill Constellations: Tracing the Supply Chain of Agent Skills on GitHub

مسئله

مهارت‌های ایجنت دستورها و اسکریپت‌هایی‌اند که ایجنت‌های کدنویسی مثل Claude Code و Codex با مجوزهای کاربرشان اجرا می‌کنند. توسعه‌دهندگان مهارت‌ها را با کپی بین مخزن‌ها به اشتراک می‌گذارند، پس یک زنجیره‌ی تأمین نرم‌افزاری بدون رجیستری، نسخه و منشأ شکل گرفته است. منشأ یک مهارت کپی‌شده، دامنه‌ی رسیدن یک اصلاح امنیتی و مخزن‌هایی که باید بازبینی شوند نامعلوم است؛ مطالعه‌هایی که فقط یک تصویر لحظه‌ای ثبت می‌کنند نمی‌گویند چه کسی از چه کسی کپی کرده است.

روش

نویسنده اولین شبکه‌ی تاریخ‌دار کپی مهارت‌ها را از تاریخچه‌ی git همه‌ی فایل‌های SKILL.md در مجموعه‌ی GitSkills ساخت که ۲۱۹۳۱۱۹ مورد پذیرش مهارت در گیت‌هاب را پوشش می‌دهد، همراه یک نمایشگر تعاملی. سپس مدلی برازش داد که پیش‌بینی می‌کند دیگران از کدام مخزن‌ها کپی می‌کنند و با آن مخزن‌ها را برای ممیزی رتبه‌بندی کرد.

یافته‌ها

• چند مخزن منبع تقریباً همه‌ی کپی‌ها هستند و ستاره‌های گیت‌هاب آن‌ها را مشخص نمی‌کنند.
• کپی‌های مهارت تقریباً هیچ‌وقت همراه منبعشان تغییر نمی‌کنند، پس اصلاح در منبع به‌ندرت به کپی‌ها می‌رسد.
• بازبینی ۱۰۰ مخزنی که مدل بالاترین رتبه را به آن‌ها می‌دهد از ۱۴٫۹ درصد پذیرش‌های بعدی مهارت‌های پرخطر جلوگیری می‌کند، در برابر ۰٫۵ درصد برای ۱۰۰ مخزن پرستاره.

محدودیت‌ها

نویسنده می‌گوید پرچم‌های خطر نشان‌دهنده‌ی توانایی‌اند نه نیت بد، دقت بالا و بازخوانی پایینشان یعنی شمارش خطر یک کران پایین است، و داده فقط ده ماه اول این قالب را در گیت‌هاب عمومی پوشش می‌دهد.