DolphinBench: Mapping the Pareto Frontier of Agent Memory

مسئله

ایجنت‌ها امروز کنش‌های واقعی انجام می‌دهند که به حافظه‌ی بلندمدت و یادآوری کانتکست وابسته است. اما بیشتر بنچمارک‌های حافظه در قالب پرسش و پاسخ گفت‌وگویی ساخته شده‌اند، جایی که خود پرسش نشان می‌دهد باید چیزی بازیابی شود و اغلب کدام چیز. همچنین بنچمارک‌ها به ندرت چیزی جز دقت می‌خواهند و سیستم‌ها می‌توانند برای امتیاز بالاتر هزینه و زمان نامعقولی صرف کنند.

روش

بنچمارک DolphinBench حافظه را مستقیم از طریق تکمیل تسک ایجنت می‌سنجد. سه پرسونای کار دانشی با حدود ۵۰۰ هزار توکن پیام کاربر برای هر کدام دارد و ایجنت‌ها را روی تسک‌هایی که به اطلاعات آن تاریخچه وابسته‌اند ارزیابی می‌کند. هر ۲۰۰ تسک هر پرسونا با اجرای ایجنت با و بدون تاریخچه‌ی مرتبط تأیید شد، به این شرط که با آن موفق و بدون آن ناموفق باشد، و همه‌ی ارزیابی‌ها باید هزینه و تأخیر کل را کنار دقت گزارش کنند.

یافته‌ها

• به گفته‌ی نویسنده‌ها هیچ بنچمارک حافظه‌ی موجودی این سه ویژگی را با هم ندارد.
• نتایج نشان داد ایجنت دقیق‌تر لزوماً کندتر نیست و ایجنت گران‌تر لزوماً دقیق‌تر نیست.

محدودیت‌ها

نویسنده‌ها می‌گویند تاریخچه‌ها تولیدی‌اند نه جمع‌آوری‌شده از کاربران واقعی و ممکن است تنوع سبک نوشتن، زبان و الگوی تعامل واقعی را نداشته باشند، و سه پرسونا فقط بخش کوچکی از حوزه‌ها را پوشش می‌دهند.