Cortex: Measurement-Gated Evolution and Pruning of Coding-Agent Skills and Rules

مسئله

ایجنت‌های کدنویسی مثل Claude Code از فایل‌های متنی که توسعه‌دهنده‌ها برایشان می‌نویسند پیروی می‌کنند: یک فایل پروژه، اسکیل‌هایی که ایجنت ممکن است باز کند و قاعده‌هایی که وقتی ایجنت فایل‌های منطبق را می‌خواند خودکار بارگذاری می‌شوند. توسعه‌دهنده‌ها هر بار که ایجنت را اصلاح می‌کنند به این فایل‌ها اضافه می‌کنند، اما یک موفقیت چیز زیادی ثابت نمی‌کند: همان ایجنت ممکن است یک بار تسک را پاس کند و بار بعد نه.

روش

ابزار Cortex تغییرهای هارنس را می‌آزماید. اصلاح‌های جلسه‌های توسعه‌دهنده را به تسک‌های قابل بازپخش تبدیل می‌کند، اصلاح‌های تکرارشونده را پیدا می‌کند، هر بار یک اسکیل یا قاعده می‌نویسد و فقط وقتی نگهش می‌دارد که اجراهای تکراری با و بدون آن سود خالص نشان دهند و هیچ تسکی محسوس بدتر نشود. متن موجود هم پیش از حذف همین‌طور آزموده می‌شود. آزمایش با Claude Haiku ۴٫۵ روی یک ریپوی ساخته‌شده برای این کار با قراردادهایی که مدل معمولاً می‌شکند انجام شد.

یافته‌ها

• روی تسک‌های کنارگذاشته، هارنس ساخته‌شده ایجنت را خیلی بیشتر از حالت بدون اسکیل و قاعده به پیروی از قراردادها واداشت، بخش مقایسه را دست‌نخورده گذاشت و هیچ متنی که در هر نوبت خوانده شود اضافه نکرد.
• قاعده‌ها، که خودکار بارگذاری می‌شوند، بیشتر کار را انجام دادند؛ اسکیل‌ها فقط وقتی کمک کردند که همراه فایل‌های تسک پیشنهاد شدند، و اسکیل‌هایی که در هر نوبت پیشنهاد می‌شدند به ندرت باز شدند.
• هیچ پیشنهاد بی‌فایده یا مضرِ کاشته‌شده نگه داشته نشد، ولی چون ایجنت آن‌ها را باز نکرد، آزمون فقط نشان می‌دهد متن استفاده‌نشده نگه داشته نمی‌شود، نه این‌که آسیب تشخیص داده می‌شود؛ با Claude Sonnet ۵ و روی یک پروژه‌ی متن‌باز واقعی سود کمی دیده شد یا چیزی برای یادگرفتن پیدا نشد.

محدودیت‌ها

نویسنده می‌گوید فقط یک ریپوی ساخته‌شده برای این کار آزموده شد که قاعده‌ها، تسک‌ها و بررسی‌هایش را خودش ساخته و طوری کالیبره کرده که مدل جا برای بهبود داشته باشد؛ قاعده‌ها هم از نوعی بودند که ماشین می‌تواند بررسی کند.