From Memory Hits to Answerable Evidence: Query-Conditioned Memory Compilation for Long-Term Agent Memory

مسئله

ایجنتی که با کاربر هفته‌ها گفت‌وگو کرده، برای جواب دادن به یک سؤال باید تکه‌های مرتبط را از میان سشن‌های مختلف پیدا کند. سیستم‌های حافظه‌ی فعلی معمولاً هر چه بازیابی کرده‌اند را همان‌طور به مدل پاسخ‌دهنده می‌دهند. نتیجه کانتکستی است که هم تکراری است و هم گاهی ناقص؛ مثلاً سه تکه درباره‌ی یک قرار ملاقات می‌آید اما تکه‌ای که تاریخ تغییرش را می‌گوید جا می‌ماند.

روش

سیستم MemCompile کار را دو مرحله می‌کند. در مرحله‌ی «آدرس‌دهی»، با توصیف‌های فشرده‌ای که به منبع اصلی وصل‌اند، تکه‌های مرتبط پیدا می‌شوند و همه‌ی نتایج بازیابی به شناسه‌های ثابتی از منبع (بسته‌های منبع) برگردانده می‌شوند تا تکراری‌ها یکی شوند. در مرحله‌ی «شواهد»، یک بودجه‌ی محدود بین این بسته‌ها تقسیم می‌شود، کمی پشتیبان اضافه پذیرفته می‌شود و ادعاهای هر بسته به شکل یک کانتکست آماده‌ی پاسخ نوشته می‌شود.

یافته‌ها

• روی بنچمارک LoCoMo به دقت ۸۰٫۵۲ درصد (با داوری یک مدل زبانی) رسید.
• مرز بهترین تعادل کیفیت و هزینه را به سمت کیفیت بالاتر جابه‌جا کرد؛ یعنی با هزینه‌ی قابل مقایسه جواب‌های بهتری داد.
• روی بنچمارک LongMemEval-S هم عملکرد قوی داشت، که نشان می‌دهد این ایده محدود به یک بنچمارک نیست.

محدودیت‌ها

نویسنده‌ها می‌گویند ارزیابی فقط روی دو بنچمارک حافظه‌ی گفت‌وگو و با مدل‌های تجاری بسته انجام شده و تکرار با مدل‌های باز مانده است. مصرف توکن هم هنوز جای بهینه‌سازی دارد.