Relevance Is Not Sufficiency: What Actually Closes the Evidence Gap in Long-Term Memory QA

مسئله

ایجنت‌هایی که در جلسه‌های زیاد با کاربر تعامل دارند، تاریخچه‌ای بزرگ‌تر از پنجره‌ی کانتکست جمع می‌کنند و از یک مجموعه‌ی کوچک رکورد بازیابی‌شده پاسخ می‌دهند. سیستم‌های حافظه رکوردها را با ربط واژگانی یا معنایی رتبه می‌دهند، اما رکوردهای برتر ممکن است هرکدام مرتبط باشند و با هم یک واقعیت مکمل لازم را جا بیندازند؛ مثلاً برای «چند هفته بعد از سفر به رم به باشگاه رفتم؟» هر دو تاریخ لازم است، ولی بازیابی ممکن است فقط سه رکورد درباره‌ی رم بیاورد.

روش

نویسنده‌ها با الهام از تمایز «ربط» و «کفایت» در ادبیات حقوقی ادله، بازیابی حافظه را ساختن یک مجموعه‌ی کافی تعریف کردند و یک داوری کور مدل زبانی روی مجموعه‌ی بازیابی‌شده به همراه دو معیار پوشش شواهد ساختند. روش BFR مجموعه‌های کافی را در دو مرحله روی یک انبار حافظه‌ی تخت ثابت می‌سازد: ابتدا با تحلیل مفهوم صوری پرسش را به نیازهای اطلاعاتی تجزیه می‌کند و زیرمجموعه‌ی فشرده‌ای انتخاب می‌کند که با هم آن‌ها را پوشش دهد، سپس با جست‌وجوی متنی عمیق‌تر یا دیدهای مکمل موجودیت و جلسه رکوردهای دیده‌نشده را تا پایان بودجه به دست می‌آورد.

یافته‌ها

• روی LoCoMo و LongMemEval-S از نسخه‌های هم‌انبار سیستم‌های حافظه‌ی ایجنت اخیر هم در کیفیت پاسخ و هم در پوشش شواهد بهتر بود.
• روی LongMemEval-S دقت داوری‌شده را از ۷۲٫۴ به ۸۲٫۲ درصد و پوشش نوبت‌های شاهد را به ۹۱٫۴ درصد رساند.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ معیار اصلی دقت یک داور مدل زبانی است.