مقاله‌ی arXiv:2610.02070 · منتشرشده در کانال
Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval
سیاست حافظه‌ی علّی: قابل شناسایی کردن سودمندی حافظه با مداخله در بازیابی
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Arman Behnam, Binghui Wang
- نهاد نویسنده‌ها
- Department of Computer Science, Illinois Institute of Technology
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مدل‌های زبانی دارای حافظه باید تصمیم بگیرند کدام حافظه‌ها را نگه دارند، و سیستم‌های اخیر این کار را با تخمین اثر هر حافظه بر کارایی انجام می‌دهند. اما این تخمین‌ها کاملاً به حافظه‌های بازیابی‌شده وابسته‌اند: حافظه‌ای که هرگز بازیابی نشود، با یا بدون آن نتیجه یکسان است و سودمندی‌اش ناشناخته می‌ماند. این نقض شرط مثبت بودن در سطح بازیابی است که تشخیص‌های مبتنی بر عملیات حافظه آن را نمی‌بینند.
روش
چارچوب CMP با مداخله در خود بازیابی شناسایی را برمی‌گرداند: تعداد ثابتی جای کانتکست برای حافظه‌هایی که با احتمال معلوم نمونه‌گیری می‌شوند رزرو می‌شود، و سودمندی با وزن‌دهی معکوس احتمال خودنرمال‌شده زیر یک طرح تخصیص متوازن تخمین زده می‌شود. نویسنده‌ها تجزیه‌ی علّی سودمندی از طریق بازیابی، نااریبی و واریانس دقیق تخمین‌گر و قاعده‌ی تصمیم بهینه زیر عملیات برگشت‌ناپذیر را اثبات کردند.
یافته‌ها
- شناسایی برای ۵۴ درصد حافظه‌های لازم در LongMemEval و ۶۷ درصد در LoCoMo شکست خورد و این مشکل در یک سیستم حافظه‌ی مستقر هم دیده شد.
- این روش تمایز بین حافظه‌های لازم و غیرلازم را از AUC برابر ۰٫۵۴ به ۰٫۶۶ رساند.
- سودمندی هر پرسش روی همان پرسش به AUC برابر ۰٫۷۸ رسید، اما هیچ تجمیعی که در اختیار سیاست نگهداری است ارزش حافظه را روی پرسش‌های دیده‌نشده پیش‌بینی نکرد.
محدودیت‌ها
نویسنده‌ها می‌گویند شناسایی به تنهایی سیاست نگهداری نمی‌دهد: تصمیم نگهداری پیش از پرسش بعدی گرفته می‌شود و هر تجمیع روی پرسش‌ها تضعیف می‌شود.
چرا مهم است
سیستم‌های حافظه بر اساس تخمین سودمندی حافظه‌ها را حذف می‌کنند. این کار نشان می‌دهد این تخمین‌ها برای بیشتر حافظه‌ها اصلاً معتبر نیستند و حتی تخمین معتبر هم برای تصمیم نگهداری کافی نیست.