مقاله‌ی arXiv:2610.20399 · در صف خبرنامه
Cortex: Consolidating Context into Parametric Memory
تثبیت سود کانتکست در وزن‌های مدل، بدون آسیب به توانایی‌های دیگر
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
کانتکست می‌تواند کارایی مدل زبانی را بالا ببرد، اما این سود با برداشتن کانتکست از بین می‌رود؛ مثلاً واقعیتی که در پرامپت داده شده، در گفت‌وگوی بعدی بدون آن پرامپت فراموش می‌شود. نویسنده‌ها با الهام از «تثبیت حافظه» در سیستم‌های زیستی، این مسئله را درونی کردن سود کانتکست با حفظ توانایی‌های غیرهدف تعریف می‌کنند و ویرایش دانش، یادگیری مهارت و هدایت رفتار را زیر یک هدف مشترک می‌آورند.
روش
یک بستر آزمون با پنج خانواده‌ی تسک، تثبیت و حفظ را در به‌روزرسانی تکی، دسته‌ای و پی‌درپی می‌سنجد. روش Cortex پرسش‌هایی پیش‌بینانه می‌سازد تا کاربردهای آینده‌ی کانتکست را پیش‌بینی کند و خروجی‌های مشروط به کانتکست را به به‌روزرسانی‌های قابل ادغام کم‌رتبه یا ساختاری در لایه‌های پیش‌خور مدل تقطیر می‌کند.
یافته‌ها
- روی بدنه‌های ۴ تا ۱۲۰ میلیاردی متراکم و ترکیب متخصصان، متنی و چندوجهی، در بیشتر تنظیم‌ها روی مرز پارتوی تجربی تثبیت و حفظ قرار گرفت.
- بعد از ۵۰ ویرایش پی‌درپی واقعیت روی یک مدل ۱۴ میلیاردی، Cortex-Structural ۸۸٫۹ درصد سودِ کانتکست را بازیابی کرد و ۹۹٫۸ درصد کارایی اصلی غیرهدف را حفظ کرد.
محدودیت‌ها
متن کامل HTML در دسترس نبود و این خلاصه بر اساس چکیده است؛ چکیده محدودیت مشخصی ذکر نمی‌کند.
چرا مهم است
ایجنت‌ها هر بار باید کانتکست طولانی را دوباره بخوانند. اگر بشود سود کانتکست را بدون خراب کردن بقیه‌ی مدل در وزن‌ها ثبت کرد، حافظه‌ی بلندمدت ارزان‌تری ممکن می‌شود.