Agent-Controlled Forgetting for Tool-Using Agents: Reversible Context Curation in Practice

مسئله

ایجنت‌های ابزارمحور مشاهده‌هایی را مدام با خود حمل می‌کنند که محتوای مفیدشان خیلی کوچک‌تر از حجم اصلی است؛ مثلاً یک لاگ هزارخطی که فقط یک خطش علت خطا را نشان داد، تا پایان جلسه در هر درخواست دوباره هزینه دارد.

روش

در «فراموشی تحت کنترل ایجنت»، خود مدل نتیجه‌های ابزار قبلی را انتخاب می‌کند، هرکدام را در جای اصلی‌اش با یک یادداشت کوتاه جایگزین می‌کند و نسخه‌ی دقیق اصلی را در یک بایگانی قابل بازیابی نگه می‌دارد. یک هارنس پایتونی بایگانی دسته‌ای و بازیابی صریح را بدون آموزش ویژه‌ی تسک فراهم می‌کند و دستورهای کاربر و پیام‌های دستیار را از این عملیات مصون نگه می‌دارد.

یافته‌ها

• در یک مورد اشکال‌زدایی OpenTelemetry و یک تسک پیاده‌سازی بعدی، روش با ۲۳۱۹۵۱ توکن پرامپت در برابر ۹۱۲۴۹۲ با تاریخچه‌ی کامل تمام شد، ۵۰ درصد توکن ورودی تجمعی کمتر داشت و هزینه‌ی تخمینی ۱٫۲۸ تا ۱٫۴۴ دلار در برابر حدود ۴٫۳۸ دلار بود.
• هر دو حالت داور رفتاری اصلی دومرحله‌ای را پاس کردند و هیچ‌کدام ارزیابی پیگیری را کامل برآورده نکرد؛ روش درخواست‌های بیشتری داشت و ۱۷ درصد طولانی‌تر شد.
• یک جفت آزمایشی دیگر در توسعه‌ی اپلیکیشن هیچ صرفه‌جویی در کانتکست یا هزینه نداشت و یک ادامه‌ی قبلی با وجود کانتکست کمتر کیفیت پایین‌تری در ارزیابی دستی داشت.

محدودیت‌ها

نویسنده می‌گوید محدودیت اصلی نمونه‌گیری است: یک جفت OpenTelemetry و یک جفت Planroom واریانس اثر را برآورد نمی‌کنند، توزیع تسک کنارگذاشته‌ی از پیش ثبت‌شده‌ای وجود ندارد و اثر به شدت به نوع بار کاری بستگی دارد.