Beyond Downstream QA: Rethinking How We Evaluate Agent Memory

مسئله

بنچمارک‌های حافظه‌ی ایجنت معمولاً می‌پرسند آیا جواب ایجنت به سؤال درست است، و از روی آن درباره‌ی کیفیت حافظه قضاوت می‌کنند. اما این روش سه چیز را با هم قاطی می‌کند: درستی حافظه، کیفیت بازیابی و کیفیت تولید جواب. گاهی جواب درست است در حالی که حافظه خراب است (مدل از دانش خودش جبران کرده)، و گاهی جواب غلط است در حالی که حافظه درست بوده و فقط بازیابی شکست خورده.

روش

نویسنده‌ها بنچمارک FEB-30 را ساخته‌اند: ۳۰ «مسیر تحول یک واقعیت» در ۶ دسته‌ی تشخیصی و ۳ سطح سختی. برعکس روش معمول، اول مسیر واقعیت را تعریف می‌کنند (مثلاً بودجه‌ی پروژه اول ۱۰ است، بعد در یک ایمیل به ۱۲ تغییر می‌کند) و بعد از روی آن سند و ایمیل و گفت‌وگو تولید می‌کنند. پس جواب درست بدون برچسب‌گذاری انسانی معلوم است و می‌شود بعد از هر مرحله‌ی ورود داده، مستقیم داخل حافظه را بررسی کرد.

یافته‌ها

• روی یک سیستم حافظه‌ی نمونه، ارزیابی مستقیم حافظه و ارزیابی از راه جواب به طور میانگین ۱۶ واحد درصد با هم فاصله داشتند و در ۴۴ درصد مسیرها این فاصله معنادار بود.
• سیستم فقط در ۲۰ درصد موارد عملیات حافظه را درست تشخیص داد (ساختن، به‌روز کردن، تقویت کردن یا جایگزین کردن یک واقعیت)، خطایی که در ارزیابی از راه جواب کاملاً پنهان می‌ماند.
• الگوی خطاها بین دسته‌ها و سطح‌های سختی به‌طور منظم فرق می‌کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند ارزیابی مستقیم جایگزین ارزیابی از راه جواب نیست و مکملش است. اسناد ساخته‌شده ممکن است همه‌ی پیچیدگی اسناد واقعی را نداشته باشند، و بنچمارک فقط ۳۰ مسیر دارد و روی یک سیستم حافظه آزموده شده است.