مقاله‌ی arXiv:2610.21147 · در صف خبرنامه
All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents
یک سیاست واحد برای جست‌وجو، نوشتن و توقف در حافظه، با پاداش برای هر قدم
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Bingbing Wang, Jingjie Lin, Weiming Qiao, Jing Li, Ruifeng Xu
- نهاد نویسنده‌ها
- Harbin Institute of Technology (Shenzhen), The Hong Kong Polytechnic University, Fudan University, Peng Cheng Laboratory
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مدل‌های زبانی برای جواب دادن بر اساس تاریخچه‌های طولانی، مثل گفت‌وگوهای چندسشنی یا اسناد بلند، به حافظه‌ی بیرونی تکیه می‌کنند. اما روش‌های موجود بازیابی و ساختن حافظه را جدا بهینه می‌کنند و فضای پاداش مشترکی ندارند که بشود با آن تصمیم‌های جست‌وجو، نوشتن و توقف را با هم ارزیابی کرد. پس سخت است سیستم تصمیم بگیرد ادامه بدهد، چیزی بنویسد، اطلاعات تکراری را رد کند یا بایستد.
روش
روش AiO-Mem همه‌ی این عملیات را گذار روی یک «وضعیت شواهد» مشترک می‌بیند. اول تاریخچه‌های ناهمگون را به رویدادهای چندنمایی تبدیل می‌کند که به منبعشان قابل ردیابی‌اند. یک سیاست حافظه‌ی واحد روی این وضعیت مسیرهای کامل تعامل اجرا می‌کند. یک مدل پاداش فرایندی جدا، که با آموزش نظارت‌شده‌ی مبتنی بر شواهد و روش DPO در سطح مسیر آموزش دیده، به هر قدم نمره می‌دهد. این نمره‌ها با تعادل بین انواع عمل جمع می‌شوند و برای بهینه کردن سیاست با روش PA-DAPO به کار می‌روند.
یافته‌ها
- در بنچمارک‌های حافظه‌ی کانتکست بلند، دقت جواب را همیشه از سیستم‌های حافظه‌ی ثابت و از ایجنت‌های حافظه‌ای که با یادگیری تقویتی آموزش دیده‌اند بیشتر کرد.
- یک مدل پاداش قدم‌به‌قدم نشان داد ارزیابی کیفیت معنایی هر عمل، از پاداش فقط-نهایی سیگنال بهتری می‌دهد.
محدودیت‌ها
چکیده عدد مشخصی گزارش نمی‌کند و مقاله کوتاه (۹ صفحه) است؛ نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند.
چرا مهم است
برای کسی که سیستم حافظه برای ایجنت می‌سازد (مثل هیپوکمپس)، ایده‌ی اصلی مهم است: تصمیم‌های «بگرد»، «بنویس» و «بس است» به هم وابسته‌اند و بهتر است با یک سیاست و یک معیار مشترک یاد گرفته شوند.