ReFold: Training-Free Reversible Inter-Turn Context Folding for Long-Horizon Agents

مسئله

ایجنت‌های بلندمدت روی یک تاریخچه‌ی فقط‌افزودنی کار می‌کنند که در هر گام دوباره به مدل فرستاده می‌شود، پس کانتکست و هزینه با هر گام رشد می‌کند تا از پنجره بیرون بزند. روش‌های موجود با پیش‌بینی نیاز به کانتکست کار می‌کنند و به فراخوانی اضافه‌ی مدل، قاعده‌های اکتشافی یا سیاست آموزش‌دیده متکی‌اند؛ این‌ها سربار زمان اجرا دارند، حافظه‌ی نهان پیشوند را بی‌اعتبار می‌کنند و محتوا را بدون تضمین بازیابی برای همیشه دور می‌ریزند.

روش

لایه‌ی نمایش ReFold تاریخچه‌ی اصلی را حفظ می‌کند و فقط کانتکست نمایش‌داده‌شده به مدل را فشرده می‌کند. دو نوع افزونگی بین نوبت‌ها را بدون پیش‌بین کمکی حذف می‌کند: محتوایی که نوبت قبلی نشان داده با یک خرده‌جایگزین عوض می‌شود، و نوبت‌هایی که خود ایجنت تمام‌شده اعلام کرده در یک یادداشت یک‌خطی تا می‌شوند. نمایش تکه‌ای پیشوند نهان را هر چند گام یک‌بار بازنویسی می‌کند، و هر حذف کاملاً برگشت‌پذیر است.

یافته‌ها

• در پنج بنچمارک بلندمدت و دو مدل پیشرو، مصرف توکن را تا ۲٫۵ برابر کم کرد و حافظه‌ی نهان کلید و مقدار هر جلسه را نصف کرد، بدون افت موفقیت تسک.
• با سقف کانتکست، از تا ۹۲ درصد فشرده‌سازی‌های اجباری جلوگیری کرد.
• زیر بار سرویس‌دهی هم‌زمان، تأخیر صف درخواست را تا ۱۰۰ درصد کم کرد، استنتاج را تا ۱٫۷ برابر سریع‌تر و هزینه را تا ۳٫۴ برابر کمتر کرد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ روش به این متکی است که ایجنت خودش تمام شدن نوبت‌ها را درست اعلام کند.