Coding Agent Memory Post-training: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via Reinforcement Learning

مسئله

ایجنت‌های زبانی روزبه‌روز بیشتر تسک‌هایی را انجام می‌دهند که تاریخچه‌ی تعاملشان از کانتکست فعال مدل بیشتر است. کارهای اخیر با یادگیری تقویتی کنترل حافظه را بخشی از سیاست کرده‌اند، اما اغلب به ابزارهای حافظه‌ی از پیش تعریف‌شده در محیط‌های ویژه‌ی دامنه با افق کوتاه تکیه دارند. این رابط‌ها بیرون از پیش‌آموزش مدل‌اند و باید از صفر یاد گرفته شوند، پس حتی پس از آموزش ایجنت‌ها در تسک‌های طولانی با حافظه مشکل دارند.

روش

مجموعه‌ی CAMG چهار محیط بلندمدت یادگیری تقویتی ایجنتی در خرید، کدنویسی، پژوهش عمیق و پژوهش خودکار دارد. کنار رابط بومی هر تسک، دسترسی شل اجرایی و یک فضای کاری پایدار در طول اپیزود فراهم می‌شود تا ایجنت فایل‌ها را به عنوان حافظه بسازد، بازنگری، جست‌وجو و دوباره استفاده کند. روش CAMG-RL یک سیاست را هم‌زمان در هر چهار محیط با PPO کاملاً ناهمگام آموزش می‌دهد و این رفتار حافظه‌ی مبتنی بر فایل را مستقیم از پاداش تسک یاد می‌گیرد.

یافته‌ها

• مدل‌های CAMG-RL-4B و CAMG-RL-9B از مدل‌های Qwen3.5 هم‌اندازه آموزش داده شدند.
• روی SWE-bench Verified و MLE-bench Lite، مدل ۴ میلیاردی با Qwen3.5-35B-A3B و مدل ۹ میلیاردی با Qwen3.5-122B-A10B رقابتی بود.
• محتوای حافظه‌ی ذخیره‌شده موفقیت بعدی را پیش برد و سیاست آموزش‌دیده حافظه را از مرز کانتکست عبور داد.

محدودیت‌ها

نویسنده‌ها می‌گویند مطالعه حافظه را به یک اپیزود و یک کاربر محدود می‌کند و مدل‌ها فقط تا ۹ میلیارد پارامتر آموزش دیده‌اند.