مقاله‌ی arXiv:2610.11287 · در صف خبرنامه
REMORY: Learning Residual Memory for Context Compaction
ریموری: یادگیری حافظه‌ی باقی‌مانده برای فشرده‌سازی کانتکست ایجنت‌های بلندمدت
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong, Weihao Yuan, Siyu Zhu
- نهاد نویسنده‌ها
- Shanghai Academy of AI for Science; Fudan University; Shanghai Innovation Institute; Shanghai Jiao Tong University; University of Michigan; The Chinese University of Hong Kong; Alibaba Group; Nanjing University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های بلندمدت برای ادامه دادن در پنجره‌ی کانتکست محدود، تاریخچه را فشرده می‌کنند، اما یک خلاصه‌ی متنی به تنهایی ممکن است از همه‌ی تصمیم‌های بعدی پشتیبانی نکند. مثلاً خلاصه می‌گوید «فایل پیکربندی بررسی شد» ولی مقدار دقیقی که بعداً لازم می‌شود در آن نیست.
روش
شبکه‌ی حافظه‌ی عصبی REMORY خلاصه را با دنباله‌ی محدودی از توکن‌های نرم حافظه تکمیل می‌کند. با داشتن تاریخچه و خلاصه، شبکه یاد می‌گیرد توکن‌هایی بسازد که به یک مدل منجمد کمک کنند ادامه‌ای نزدیک به ادامه با تاریخچه‌ی کامل تولید کند. توکن‌ها مشروط به خلاصه‌اند و پس از آن اضافه می‌شوند، شبیه یک اتصال باقی‌مانده در بُعد دنباله، و بازیابی هم در صورت نیاز رکورد دقیق را می‌آورد.
یافته‌ها
- روی SummHay، انتساب منبع را با پوشش بینش تقریباً ثابت بهتر کرد و با فقط ۵٫۲ درصد موقعیت‌های ورودی به امتیاز مشترک کانتکست کامل نزدیک شد.
- در بنچمارک‌های ایجنت بلندمدت، Qwen3.8-27B و GLM-5.3-Flash با حافظه‌ی باقی‌مانده بهبود پیوسته نشان دادند.
- هر دو مدل روی BrowseComp و Terminal-Bench ۲٫۱ خروجی ابزار تکراری و خطای ابزار خیلی کمتری داشتند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده اندازه‌ی بهبود در بنچمارک‌های ایجنتی را عددی بیان نمی‌کند.
چرا مهم است
فشرده‌سازی کانتکست برای ایجنت‌های طولانی ضروری است اما اطلاعات را از بین می‌برد. این کار نشان می‌دهد چند توکن آموخته‌شده کنار خلاصه، بخش زیادی از این اطلاعات را نگه می‌دارد.