مقاله‌ی arXiv:2610.20582 · در صف خبرنامه
Latent Compaction with Test-Time Training
فشرده کردن حافظه‌ی کلید-مقدار مدل برای یک سند، با آموزش در زمان اجرا
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han
- نهاد نویسنده‌ها
- Tsinghua University (NLP Group)
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
کانتکست‌های طولانی حافظه‌ی کلید-مقدار مدل را بزرگ می‌کنند و مصرف حافظه و هزینه‌ی توجه را هنگام تولید بالا می‌برند. فشرده کردن این حافظه باید اطلاعات لازم برای سؤال‌هایی را که هنوز پرسیده نشده‌اند حفظ کند؛ مثلاً اگر سند یک دفترچه‌ی تلفن است، شماره‌ی هر کسی که بعداً پرسیده شود باید قابل بازیابی بماند.
روش
روش Latent Compaction برای هر سند یک حافظه‌ی فشرده‌ی مخصوص یاد می‌گیرد، با آموزش در زمان اجرا. اول خانه‌های حافظه بر اساس اهمیت بازسازی، توجه مدل معلم و تنوع فضای کلیدها مقداردهی می‌شوند. بعد خروجی توجه با حافظه‌ی فشرده به خروجی حافظه‌ی کامل نزدیک می‌شود، و در آخر کل حافظه با تقطیر سرتاسری از مدلِ با حافظه‌ی کامل بهینه می‌شود. وزن‌های مدل ثابت می‌ماند و آموزش فقط با پرامپت‌های عمومی درباره‌ی سند انجام می‌شود، بدون دسترسی به سؤال‌ها یا جواب‌های بعدی.
یافته‌ها
- روی RULER، LongBench و Phonebook Lookup، با بودجه‌ی برابر از روش‌های فشرده‌سازی دیگر به‌طور چشمگیری بهتر بود.
- مثلاً روی RULER با ۳۲ برابر فشرده‌سازی به دقت ۹۶٫۷ درصد رسید، در برابر ۴۰ درصد برای KVZip+.
- روش به اندازه‌ها و خانواده‌های مختلف مدل منتقل شد و روی Qwen3 و MiniCPM5 هر دو بهبود بازیابی داد.
محدودیت‌ها
نویسنده‌ها می‌گویند تنظیم حافظه برای هر سند هنوز پرهزینه است و فشرده‌سازی خیلی شدید دقت را پایین می‌آورد.
چرا مهم است
برای ایجنت‌هایی که یک سند بزرگ را بارها می‌خوانند، مثل مستندات یک ریپو، یک حافظه‌ی فشرده و قابل استفاده‌ی دوباره می‌تواند هزینه‌ی هر سؤال را خیلی کم کند. این کار نشان می‌دهد با دیدن حافظه به چشم یک شبکه‌ی قابل آموزش، فشرده‌سازی شدید بدون از دست دادن بازیابی شدنی است.