When to Forget: Risk-Controlled Context Adaptation for Long-Horizon Agents

مسئله

ایجنت‌هایی که کارهای طولانی انجام می‌دهند، از شکست‌هایشان در طول کار یاد می‌گیرند و این شکست‌ها را در کانتکست نگه می‌دارند. اما ارزش یک رکورد شکست با جلو رفتن کار عوض می‌شود: چیزی که اول کار مفید بود، بعدها فقط کانتکست را شلوغ و پرهزینه می‌کند. سؤال این است که نگه داشتن، خلاصه کردن یا حذف یک تکه‌ی مشخص از تاریخچه، در چه لحظه‌ای ادامه‌ی کار را بهتر می‌کند.

روش

چارچوب RECAP این را با آزمایش کنترل‌شده می‌سنجد. ایجنت را در وضعیت‌های یکسان محیط و با بذرهای تصادفی یکسان، یک بار با تاریخچه‌ی کامل و یک بار با تکه‌ی تغییرداده‌شده ادامه می‌دهد و تفاوت موفقیت و هزینه‌ی پرامپت را اندازه می‌گیرد. از رابطه‌ی هر تکه‌ی شکست با وضعیت فعلی کار، ویرایش‌های امیدوارکننده پیشنهاد می‌شود. در آخر روی مجموعه‌ی جداگانه‌ای از تسک‌ها یک سیاست انتخاب می‌شود که خطر ویرایش زیان‌بار در آن محدود باشد.

یافته‌ها

• در یک مطالعه‌ی پنج‌بذری که هم تکه‌ی شکست و هم خلاصه‌اش ثابت بود، خلاصه کردن در اوایل کار باعث شکست شد ولی در مرحله‌ی بعدی به صرفه‌جویی در هزینه بدل شد؛ یعنی همان ویرایش در دو لحظه‌ی مختلف اثر مخالف دارد.
• روی پنج مدل پایه، صرفه‌جویی مثبت دیده شد، با تعادل‌های متفاوت بین قابلیت اطمینان و کارایی برای هر مدل.
• روی مدل Hunyuan-A13B، حدود ۴۳ درصد نقطه‌های ذخیره‌ی تاریخچه ویرایش شد، موفقیت ادامه‌ی کار مثل حالت تاریخچه‌ی کامل حدود ۹۲ درصد ماند و هزینه‌ی پرامپت به طور میانگین ۴۶۲۰ توکن (حدود ۲ درصد) کم شد.

محدودیت‌ها

صرفه‌جویی هزینه در بهترین حالت حدود ۲ درصد است و اثر روش بین مدل‌ها فرق دارد. متن کامل این مقاله به شکل HTML در دسترس نبود و این خلاصه بر اساس چکیده است.