مقاله‌ی arXiv:2609.31395 · منتشرشده در کانال
ActKV: Efficient LLM Agents through Action-Guided KV Cache Management
اکت‌کی‌وی: مدیریت حافظه‌ی کلید و مقدار با هدایت کنش برای ایجنت‌های کارآمد
- تاریخ
- (۳ مهر ۱۴۰۵) 2026-09-25 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zihan Wang, Cheng Tang, Lei Gong, Chao Wang, Wenqi Lou, Teng Wang, Xuehai Zhou
- نهاد نویسنده‌ها
- University of Science and Technology of China; Suzhou Institute for Advanced Research, USTC
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
استنتاج ایجنتی در حلقه‌های مکرر مشاهده، استدلال و کنش حافظه‌ی کلید و مقدار طولانی انباشته می‌کند که سربار حافظه‌ی زیادی دارد و توان سرویس‌دهی را محدود می‌کند. روش‌های فشرده‌سازی موجود روی کیفیت کلی خروجی تمرکز دارند و اهمیت نامتقارن کنش‌ها در پیشبرد تسک را نادیده می‌گیرند.
روش
روش ActKV هر مدخل حافظه را بر اساس سهمش در تولید کنش ارزش‌گذاری می‌کند و کیفیت کنش را اولویت می‌دهد. سه جزء دارد: بیرون‌رانی کنش‌محور که از الگوهای پایدار دسترسی کنش‌ها برای نگه داشتن مدخل‌های حیاتی کنش‌های آینده استفاده می‌کند، تخصیص بودجه‌ی تطبیقی که با اطمینان ذاتی مدل بودجه را با نیاز متغیر تطبیق می‌دهد، و مدیریت فشرده‌سازی آگاه از صفحه که فشرده‌سازی را با کرنل‌های سفارشی به سه عملیات پایه استاندارد می‌کند.
یافته‌ها
- روی تسک‌های با ردپای طولانی، به‌طور میانگین ۹۸٫۵۳ درصد دقت حالت حافظه‌ی کامل را با فقط ۲۵٫۹۸ درصد حافظه‌ی اوج نگه داشت.
- توان توکن و تسک را به ترتیب ۳٫۹۷ و ۳٫۵۸ برابر حالت حافظه‌ی کامل کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد.
چرا مهم است
حافظه‌ی کلید و مقدار یکی از گلوگاه‌های سرویس‌دهی ایجنت‌هاست. این کار نشان می‌دهد تمرکز بر آنچه برای کنش بعدی لازم است، اجازه می‌دهد با یک چهارم حافظه تقریباً همان دقت را داشت.