Reliable Memory from Unstable Growth: Curating Self-Written Agent Playbooks with Randomized Experiments

مسئله

حافظه‌ی متنی پایدار به ایجنت اجازه می‌دهد بدون آموزش دوباره از درس‌های تسک‌های قبلی استفاده کند. سیستم‌هایی مثل ACE و Dynamic Cheatsheet آن را به شکل یک «دفترچه» نگه می‌دارند: درس‌هایی که ایجنت بعد از هر تسک می‌نویسد و در پرامپت می‌خواند. چالش اصلی تشخیص درس‌هایی است که واقعاً به تسک‌های بعدی کمک می‌کنند. سیستم‌های فعلی این تصمیم را به خود ایجنت می‌سپارند و نتیجه ناپایدار است: یک روش واحد می‌تواند دفترچه‌ای بنویسد که کمک کند یا تا ۶۹٫۶ امتیاز از حالت بدون دفترچه بدتر باشد.

روش

روش RBC اثر درس‌ها را با یک آزمایش تصادفی روی تسک‌های تمرینی می‌سنجد. درس‌های مرتبط را در بلوک‌هایی گروه‌بندی می‌کند که آن‌قدر بزرگ باشند که اثرشان روی موفقیت قابل اندازه‌گیری باشد، و در هر تسک تمرینی هر بلوک را تصادفی شامل یا حذف می‌کند. شمول تصادفی، تسک‌های با و بدون یک بلوک را قابل مقایسه می‌کند و فاصله‌ی موفقیتشان اثر بلوک را برآورد می‌کند. بلوک‌های مفید نگه داشته می‌شوند و چون یک روش ممکن است دفترچه‌ی مفید یا مضر بنویسد، چند دفترچه رشد داده می‌شود و هر کدام از نسخه‌ی گزینش‌شده، کامل یا بدون دفترچه که روی تمرین‌های تازه بهتر بود سرو می‌شود.

یافته‌ها

• در دو سیستم حافظه، سه مدل و سه بنچمارک، میانگین موفقیت را به ۶۶٫۹ رساند.
• در مقایسه، دفترچه‌ی کامل ۵۵٫۵، بدون دفترچه ۵۴٫۱ و گزینش با قضاوت خود ایجنت ۵۳٫۸ گرفت.

محدودیت‌ها

نویسنده‌ها می‌گویند شواهد دو سیستم حافظه، سه بنچمارک و سه مدل باز را پوشش می‌دهد؛ سیستم‌ها، حوزه‌ها و مدل‌های بزرگ‌تر یا تجاری آزموده نشده‌اند. روش وقتی دقیق است که اثر بلوک‌ها جمع‌پذیر باشد، و وقتی درس‌ها سخت از هم جدا می‌شوند دقتش کمتر است.