SkillNEO: Non-Elitist Evolutionary Optimization of Agent Skills

مسئله

اسکیل‌ها دانش روالی را به ساخته‌هایی قابل استفاده‌ی دوباره تبدیل می‌کنند و «تکامل اسکیل» آن‌ها را با بازخورد اجرا بهتر می‌کند. اما بهبود گاهی به چند ویرایش وابسته به هم نیاز دارد؛ مثلاً اول باید قدم نصب را درست کرد و بعد قدم پیکربندی، و نسخه‌ی میانی ممکن است موقتاً بدتر باشد. اگر هر نسخه باید فوراً نمره‌ی بهتری بگیرد، این ترمیم‌های نیمه‌کاره پیش از ثمر دادن دور ریخته می‌شوند.

روش

روش SkillNEO نسخه‌ای را که برای استفاده انتخاب می‌شود از نسخه‌هایی که به بهبودشان ادامه داده می‌شود جدا می‌کند. با مقایسه‌ی عملکرد نسخه‌های مرتبط روی همان تسک، قدم‌های درستی که باید حفظ شوند و شکست‌هایی که باید رفع شوند معلوم می‌شود. روش می‌تواند با شواهد بعدی سراغ نسخه‌های قبلی هم برگردد و آن‌ها را اصلاح کند.

یافته‌ها

• در ۸۶ تسک از SkillsBench در هشت حوزه، از جمله مهندسی نرم‌افزار و کار اداری، میانگین پاداش GPT-5.4 Mini را از ۴۹٫۱ به ۶۶٫۴ درصد رساند، در محدوده‌ی عملکرد GPT-5.5 و GPT-5.6 Luna با اسکیل‌های اصلی. خود مدل کوچک تسک‌ها را اجرا، اصلاح پیشنهاد و اسکیل‌ها را ویرایش کرد.
• همان اسکیل‌ها بدون ویرایش اضافه، مدل‌های قوی‌تر را هم بهتر کردند: در ۴۱ تسکی که اسکیلشان تغییر کرده بود، Luna ۱۰٫۵ واحد درصد بهتر شد و GPT-5.5 ده و شش‌دهم امتیاز بالاتر از مرجع منتشرشده‌اش قرار گرفت.
• تاریخچه‌ی جست‌وجو نشان داد نسخه‌هایی با نمره‌ی پایین‌تر به اسکیل‌هایی رسیدند که در نهایت انتخاب شدند.

محدودیت‌ها

نویسنده‌ها می‌گویند فقط کل چارچوب آزموده شده و برای جدا کردن اثر هر جزء مقایسه با بودجه‌ی برابر لازم است. ارزیابی نهایی هم روی همان نمونه‌های تسکی بوده که در تکامل استفاده شده‌اند.