Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents

مسئله

ایجنت‌های طولانی بارها مدل را فرامی‌خوانند و بیشتر پنجره‌ی اسنادشان را نگه می‌دارند، اسناد قدیمی را بیرون می‌اندازند و اسناد تازه اضافه می‌کنند. این به‌روزرسانی غلتان حافظه‌ی نهان پیشوند دقیق را می‌شکند، چون حذف یک سند از ابتدا جای همه‌ی اسناد بعدی را عوض می‌کند، و انگیزه‌ی استفاده‌ی مجدد غیرپیشوندی از حافظه‌ی نهان با محاسبه‌ی دوباره‌ی گزینشی را ایجاد می‌کند.

روش

نویسنده‌ها در یک بار کاری ایجنت غلتان با ۸۴ سند در هر درخواست بررسی کردند آیا استفاده‌ی مجدد پایدار از حافظه‌ی نهان با محاسبه‌ی دوباره‌ی گزینشی به تاریخچه وابسته است. محاسبه‌ی دوباره‌ی هم‌تراز با مرز اسناد را با سیاست انتخاب توکن‌های برتر روش CacheBlend در بودجه‌ی محاسبه‌ی دوباره‌ی ۵ درصد مقایسه کردند.

یافته‌ها

• یک پرامپت بدون تغییر می‌تواند بسته به درخواست‌هایی که پیش از آن پردازش شده‌اند پاسخ متفاوتی بدهد؛ محاسبه‌ی دوباره‌ی هم‌تراز با اسناد تغییر پاسخ بین ترتیب‌های مختلف درخواست را از ۶۹٫۰ به ۲۶٫۱ درصد کاهش داد.
• وقتی هر پرامپت پس از دنباله‌ی متفاوتی از درخواست‌ها ارزیابی شد، این روش وفاداری به پیش‌پر کردن کامل را ۳۴٫۵ تا ۵۲٫۵ واحد درصد بهتر کرد، در حالی که هر دو سیاست حدود ۵٫۷ برابر سرعت میانه‌ی زمان تا اولین توکن داشتند.
• آزمایش حذفی نشان داد پیوستگی عامل اصلی مرتبط با پایداری محاسبه‌ی دوباره‌ی گزینشی است.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نتیجه‌ها از یک بار کاری ایجنت غلتان مشخص گزارش شده‌اند.