CliffCompaction: Cost-Efficient Compaction for Long-Horizon Coding Agents

مسئله

ایجنت‌ها اغلب روی مسائل پیچیده‌ای کار می‌کنند که میلیون‌ها توکن کانتکست لازم دارند و به دلیل پنجره‌ی کانتکست محدود باید بین جلسه‌ها فشرده‌سازی کنند. فشرده‌سازی‌هایی که محتوا را بازنویسی می‌کنند ممکن است با هر دور اطلاعات را تحریف کنند و رانش کانتکست انباشته شود.

روش

روش CliffCompaction اطلاعات فشرده‌شده را وفادار نگه می‌دارد چون فقط محتوا را کوتاه یا حذف می‌کند و هرگز آن را بازنویسی نمی‌کند. هیچ فشرده‌سازی‌ای دوباره فشرده نمی‌شود: هر گذر فقط روی محتوای اصلی کار می‌کند و خروجی فشرده‌ی قبلی دور ریخته می‌شود. یک پیاده‌سازی پروکسی مستقل از داربست برای Claude Code، Codex و هارنس‌های دیگر هم منتشر شد.

یافته‌ها

• زیر کانتکست محدود هزینه را تا ۵۰ درصد کم کرد و کارایی روی Terminal-Bench را حفظ یا بهتر کرد؛ در مقیاس زمان آزمون با کمتر از هزینه‌ی دو اجرای کانتکست کامل بیش از ۱۰ واحد درصد افزود.
• در مقیاس موازی زمان آزمون، Kimi K2.6 را به Opus ۴٫۷ رساند و از Opus ۴٫۶ و GPT-5.3 Codex با هزینه‌ی کمتر بهتر کرد.
• روی KernelBench در جلسه‌های بیش از یک میلیون توکن، شتاب کرنل CUDA را پس از ۲۰۰ گام به ۲٫۲۳ و پس از ۴۰۰ گام به ۳٫۵۸ برابر رساند و از الگوریتم‌های جست‌وجوی تخصصی و ایجنت‌های آموزش‌دیده بهتر بود.

محدودیت‌ها

نویسنده‌ها می‌گویند سود روش به داربست و تسک بستگی دارد: صرفه‌جویی با پیچیدگی داربست رشد می‌کند اما بودجه‌ی لازم داربست هم بیشتر می‌شود چون پرامپت سیستمی و تعریف ابزارها پیش از هر کنش بخشی از بودجه را مصرف می‌کنند، و سود فقط برای تسک‌های متوسط تا طولانی معنادار است.