Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents

مسئله

در «هم‌تکاملی اسکیل و سیاست»، مدل ایجنت و بانک اسکیل‌هایش در طول آموزش هم‌دیگر را بهتر می‌کنند. ارزیابی‌های فعلی مدل را با همان بانک نهایی آموزش می‌سنجند. اما بعد از استقرار، اسکیل‌ها خیلی بیشتر از آموزش دوباره‌ی مدل بازنویسی، اضافه یا حذف می‌شوند؛ پس مدل با بانکی کار می‌کند که از بانک آموزشش فاصله گرفته، و نه هدف آموزش این را در نظر می‌گیرد و نه پروتکل‌های ارزیابی.

روش

نویسنده‌ها با تحلیل نظری و تجربی نشان می‌دهند این شکنندگی تصادفی نیست: قاعده‌ی پذیرشی که همه‌ی این روش‌ها دارند، توانایی مدل را به بانکی گره می‌زند که با آن رشد کرده. بعد پروتکل ارزیابی CODA را ساختند که رانش اسکیل‌ها را شبیه‌سازی می‌کند و علاوه بر موفقیت در بدترین حالت رانش، دو معیار تازه دارد: ثبات در برابر ویرایش‌هایی که معنی را حفظ می‌کنند، و مقاومت در برابر اسکیل‌های خراب.

یافته‌ها

• حساسیت به رانش اسکیل با جلو رفتن آموزش هم‌تکاملی بیشتر می‌شود.
• در چهار روش هم‌تکاملی و پنج بنچمارک، موفقیت در بدترین حالت ۵ تا ۱۳ امتیاز پایین‌تر از اوج بود و ۵۲ تا ۹۳ درصد از سود بانک اسکیل نسبت به حالت بدون اسکیل از بین رفت.

محدودیت‌ها

نویسنده‌ها می‌گویند بازنویسی اسکیل با مدل زبانی قطعی نیست و حتی با نسخه‌ی ثابت مدل و تنظیمات ثابت، نتایج کمی فرق می‌کنند. اگر همان خانواده‌ی مدل که بانک را نوشته بازنویسی را هم انجام دهد، شکنندگی ممکن است کمتر از واقع اندازه‌گیری شود.