مقاله‌ی arXiv:2610.13277 · در صف خبرنامه
Beyond the Final Embedding: Retrieving Memories from Token-Level Evidence
فراتر از امبدینگ نهایی: بازیابی حافظه با تطبیق در سطح توکن، بدون آموزش اضافه
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Han Luo, Zhan Zhuang, Xu He, Jujia Zhao, Yu Li, Suqin Yuan, Dong Li, Lei Feng
- نهاد نویسنده‌ها
- Southeast University; MemoraX AI; Leiden University; University of Sydney
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
دستیارهای مجهز به حافظه شواهد را از گفت‌وگوها و اسناد ذخیره‌شده بازیابی می‌کنند. بیشتر بازیاب‌های مبتنی بر امبدینگ، پرسش و حافظه را با یک بردار مقایسه می‌کنند، حتی وقتی ارتباط به بخش کوچکی از محتوا بستگی دارد؛ مثلاً یک جمله‌ی کوتاه درباره‌ی حساسیت غذایی کاربر در وسط یک گفت‌وگوی طولانی درباره‌ی سفر.
روش
روش پیشنهادی از بازنمایی‌های کانتکستی توکن‌ها که همان مدل امبدینگ از قبل محاسبه کرده استفاده می‌کند. هر توکن پرسش مجموعه‌ی کوچکی از توکن‌های منطبق را در حافظه‌های نامزد بازیابی می‌کند؛ امتیازهای تطبیق برای هر حافظه جمع می‌شوند و با شباهت کل حافظه ترکیب می‌شوند. یک تطبیق‌دهنده‌ی کم‌رتبه‌ی اختیاری برای پرسش هم با نظارت قابل آموزش است، در حالی که رمزگذار و بازنمایی‌های ذخیره‌شده ثابت می‌مانند.
یافته‌ها
- بدون آموزش اضافه، بازیابی را در هشت بنچمارک و چند خانواده‌ی مدل بهتر کرد.
- با تطبیق پرسش، بهبود روی Qwen3-Embedding-4B در میانگین Recall@۱۰ و NDCG@۱۰ به ۱۳٫۳ و ۱۴٫۳ واحد درصد رسید.
- این بهبودها به دقت بالاتر پرسش و پاسخ در بنچمارک‌های حافظه‌ی بلندمدت تبدیل شدند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نگه‌داشتن بازنمایی توکن‌ها برای همه‌ی حافظه‌ها فضای ذخیره‌سازی بیشتری از یک بردار لازم دارد.
چرا مهم است
بازیابی تک‌برداری جزئیات کوچک ولی مهم را از دست می‌دهد. این کار راهی ساده برای استفاده از اطلاعاتی که مدل امبدینگ از قبل محاسبه کرده نشان می‌دهد.