Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing

مسئله

سیستم‌های حافظه‌ی بیرونی برنامه‌های مدل زبانی را از محدودیت پنجره‌ی کانتکست فراتر می‌برند، اما کیفیتشان به مدلی بستگی دارد که در حافظه می‌نویسد: چه چیزی نگه داشته شود، با چه دقتی و شواهد تازه چطور وضعیت قبلی را به‌روز کند. معمولاً یک مدل زبانی عمومی بزرگ با پرامپت‌های مخصوص هر فریم‌ورک این کار را می‌کند، که هم گران است و هم مدلی که برای یک فریم‌ورک تخصصی شده به فریم‌ورک دیگر منتقل نمی‌شود.

روش

مدل Hy-Memory-30B-A3B یک نویسنده‌ی فشرده‌ی حافظه است که روی سه فریم‌ورک Mem0 و MemOS و Hy-Memory آموزش دیده. اول با تقطیر روی سیاست، پروتکل نوشتن هر فریم‌ورک را روی وضعیت‌هایی که خود مدل تولید کرده یاد می‌گیرد. بعد با یادگیری تقویتی برای قابل‌جواب بودن سؤال‌های بعدی بهینه می‌شود: با پرسش‌های آزمایشی برای هر تکه، پاداشی که بین تکه‌ها تقسیم می‌شود، کنترل برای ذخیره‌ی بیش از حد، و روش GRPO در سطح تکه. حافظه‌ای که خود مدل نوشته بین پنجره‌ها منتقل می‌شود تا آموزش شبیه استفاده‌ی واقعی باشد.

یافته‌ها

• روی نمونه‌ی ثابت ۲۰ درصدی از بنچمارک‌ها، در هر چهار هارنس آزموده‌شده اول شد، از جمله EverMemOS که در آموزش نبود.
• میانگین کلی ۵۵٫۴۹ درصد بود در برابر ۵۴٫۶۲ درصد برای Claude Opus ۵؛ فاصله کم است، پس با احتیاط بخوانید، ولی با مدلی خیلی کوچک‌تر به دست آمده.

محدودیت‌ها

نویسنده‌ها می‌گویند تقسیم پاداش بر اساس شواهد است نه آزمایش علّی، پس پیدا شدن یک واقعیت در جواب ثابت نمی‌کند همان نوشتن باعثش شده. خطاهای قدیمی‌تر حافظه هم سیگنال آموزشی برگشتی نمی‌گیرند، و ارزیابی فقط روی نمونه‌ی ۲۰ درصدی بنچمارک‌ها بوده است.