Persistent Memory in Multi-Agent LLM Inference: What It Costs, What It Buys, and When You Can Tell

مسئله

تقسیم استنتاج کانتکست طولانی بین ایجنت‌های همکار، حافظه‌ی نهان کلید و مقدار فعال هر فراخوانی را محدود می‌کند، که وقتی حافظه گلوگاه است مهم است. بسیاری از این سیستم‌ها یک لایه‌ی پایدار برای ذخیره و یادآوری ردپاهای استدلال اضافه می‌کنند و معمولاً با یک آزمایش حذفی که بهبود دقت گزارش می‌کند آن را تأیید می‌کنند. سؤال این است که آیا این بهبود واقعی است.

روش

نویسنده‌ها هر دو را روی یک معماری سه‌لایه‌ی ایجنتی اندازه گرفتند: سود تقسیم استنتاج و سود لایه‌ی پایدار. آزمایش‌ها روی هشت جفت مجموعه‌داده‌ی کنترل‌شده با ۱۰۰ نمونه در هر بازو انجام شد و چهار اصلاح اندازه‌گیری در مسیر شناسایی و مستند شد.

یافته‌ها

• تقسیم استنتاج نتیجه داد: بیشینه‌ی حافظه‌ی کاری نهان ۱۴٫۳ مبی‌بایت برای هر پرسش در برابر ۳۵٫۵ و ۳۵٫۳ برای پایه‌های تک‌گذری و بازیابی‌محور.
• لایه‌ی پایدار نتیجه نداد: ۰٫۳۶۸ مبی‌بایت به بیشینه‌ی حافظه‌ی نهان افزود و هیچ تغییر قابل تشخیصی در دقت نداشت، ۰٫۰۱۵ با بازه‌ی اطمینانی که صفر را در بر می‌گیرد.
• نویسنده‌ها این نتیجه‌ی تهی را ساختاری می‌دانند، چون بنچمارک‌های تک‌پرسشی برای هر مورد شواهد خودش را می‌دهند و یادآوری چیز آموزنده‌ای برای بازیابی ندارد؛ رسیدن به این نتیجه چهار اصلاح اندازه‌گیری لازم داشت که سه‌تایش سود ظاهری را بزرگ‌تر نشان می‌دادند.

محدودیت‌ها

نویسنده‌ها می‌گویند این نتیجه از یک سیستم و یک تیم است، شرط‌ها بازسازی‌شده‌اند نه استخراج‌شده، باندها روی دو تا چهار تکرار استوارند و یکی از بازوها فقط یک اجرا دارد.