MemComposer: Learning to Assemble Memories for LLM Agents via Reinforcement Learning

مسئله

حافظه به ایجنت اجازه می‌دهد بدون تغییر وزن‌هایش از تجربه‌های گذشته استفاده کند. اما شباهت معنایی به‌تنهایی مفید بودن یک خاطره را تضمین نمی‌کند: نتیجه به این بستگی دارد که خاطره‌ها چطور انتخاب و به ایجنت نشان داده شوند. مثلاً پنج تجربه‌ی شبیه هم ممکن است کمتر از دو تجربه‌ی متفاوت کمک کنند.

روش

سیستم MemComposer یک «چیننده‌ی حافظه» است که سؤال فعلی و نامزدهای بازیابی‌شده را با هم بررسی می‌کند و تصمیم می‌گیرد کدام تجربه‌ها را بیاورد، چند تا و به چه ترتیبی. آموزش با روش ExPO انجام می‌شود که بر پایه‌ی GRPO است: کانتکست حافظه‌ی چیده‌شده با یک تعامل کامل ایجنت ارزیابی می‌شود و موفقیت تسک سیگنال آموزش است. اجراکننده، بازیاب و بانک حافظه ثابت می‌مانند.

یافته‌ها

• در سه حوزه از τ²-bench و با دو اجراکننده‌ی ثابت، از قوی‌ترین روش مقایسه برای هر اجراکننده بهتر بود و مصرف توکن حافظه را به طور میانگین ۱۶٫۹ و ۴٫۹ درصد کم کرد.
• سیاست یادگرفته به حوزه‌ها، اجراکننده‌ها و بانک‌های حافظه‌ی دیده‌نشده منتقل شد.
• بدون آموزش اضافه، از خاطره‌هایی که مدل‌های قوی‌تر ساخته‌اند هم سود برد.

محدودیت‌ها

نویسنده‌ها می‌گویند هر سیاست برای یک اجراکننده‌ی ثابت یاد گرفته می‌شود و معلوم نیست مدل‌های مختلف چه نوع کانتکست حافظه‌ای را ترجیح می‌دهند. هر دو اجراکننده کوچک‌اند (۴ و ۸ میلیارد پارامتر) و رفتار مدل‌های بزرگ آزموده نشده است.