Context Language Models

مسئله

مدیریت کانتکست در ایجنت‌ها معمولاً بیرون از مدل و با قاعده‌های هارنس انجام می‌شود، مثلاً خلاصه‌سازی یا برش تاریخچه با یک آستانه‌ی ثابت. در این حالت مدل یاد نمی‌گیرد چه چیزی برای نگه داشتن در کانتکست مهم‌تر است، و در سیستم‌های چندایجنتی هم هماهنگی کانتکست‌ها دشوار است.

روش

نویسنده‌ها مدل‌های زبانی کانتکست را معرفی کردند که کانتکست را یک فایل می‌بینند و اجازه‌ی به‌روزرسانی نامحدود آن را دارند؛ این به‌طور طبیعی به سیستم‌های چندایجنتی که کانتکست هر ایجنت یک فایل است گسترش می‌یابد. مدیریت کانتکست از کنترل بیرونی هارنس به رفتار ذاتی مدل منتقل می‌شود، که هم یادگیری درون کانتکست با دستورهای زبانی تکامل‌یافته و هم یادگیری پارامتری با یک روش یادگیری تقویتی آنلاین را ممکن می‌کند. یک روش بازاستفاده از حافظه‌ی پسوند هم برای سرویس‌دهی هم‌طراحی شد.

یافته‌ها

• ساخت این مدل‌ها به صورت صفرنمونه با مدل‌های موجود، روی BrowseComp-Plus دقت را ۱۱٫۴ درصد بالا برد با ۲۱٫۵ درصد محاسبه‌ی کمتر، و روی EdgeBench دوازده‌ساعته امتیاز را ۵ درصد بالا برد با ۵۹ درصد محاسبه‌ی کمتر.
• روی یک تسک ۲۴ ساعته‌ی ازدحام ایجنت‌ها روی چند مخزن، با همان محاسبه ۶۵ درصد بهبود بیشتری داشت.
• دستورهای زبانی تکامل‌یافته دقت کنارگذاشته را تا ۳۵٫۹ امتیاز بالا بردند، و یادگیری تقویتی آنلاین کارایی Qwen3.5-9B روی BrowseComp-Plus را ۴۷٫۶ درصد بهتر کرد با ۱۲ درصد محاسبه‌ی کمتر.
• بازاستفاده از حافظه‌ی پسوند محاسبه‌ی سمت سرور را با کارایی برابر ۳۵ درصد نسبت به SGLang استاندارد کم کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند دادن دسترسی نوشتن به کانتکست زنده چالش‌های امنیتی تازه می‌سازد: کانتکست قابل ویرایش می‌تواند کانالی شود که تزریق پرامپت یا دستورهای خودساخته از طریق آن بین نوبت‌ها باقی بمانند.