مقاله‌ی arXiv:2610.03020 · در صف خبرنامه
DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users
دایادمم: بنچمارک حافظه‌ی بلندمدت درباره‌ی این‌که ایجنت چطور با هر کاربر کار کند
- تاریخ
- (۱۰ مهر ۱۴۰۵) 2026-10-02 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yifei Tao, Xinyu Zhong, Henry Hengyuan Zhao, Fanyi Wang, Tengda Guo, Wentao Qiu, Ying Wang, Liujian Tang
- نهاد نویسنده‌ها
- Nanyang Technological University; National University of Singapore; University of Hong Kong; StepFun
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های بلندمدت باید نه فقط آنچه درباره‌ی کاربر درست است، بلکه این را هم به خاطر بسپارند که یک ایجنت خاص با گذشت تاریخچه‌ی مشترک چطور باید با آن کاربر کار کند؛ مثلاً این‌که کاربر توضیح‌های طولانی را رد کرده یا ترجیح می‌دهد پیش از تغییر فایل‌ها از او اجازه گرفته شود. بنچمارک‌های موجود عمدتاً واقعیت‌ها و ترجیحات کاربر یا تجربه‌ی قابل استفاده بین کاربران را می‌سنجند و فقط با پرسش و پاسخ نهایی ارزیابی می‌کنند.
روش
نویسنده‌ها تعریف «حافظه‌ی رابطه‌ای ایجنت مشروط به کاربر» را پیشنهاد دادند و DyadMem را ساختند که حافظه‌ی سمت کاربر و این حافظه‌ی رابطه‌ای را در همان مسیرهای چندجلسه‌ای برچسب می‌زند و ۶ دسته‌ی حافظه دارد. بنچمارک برچسب‌های طلایی ثبت و به‌روزرسانی در سطح جلسه، پشتیبانی بازیابی در سطح پرسش و دو حالت پرسش و پاسخ با حافظه‌ی طلایی و خط‌لوله‌ی کامل دارد.
یافته‌ها
- شامل ۳٬۰۶۵ اپیزود، ۵۰٬۹۶۱ جلسه و ۶۱٬۲۱۰ نمونه‌ی پرسش و پاسخ است.
- در ۱۶ مدل وزن‌باز و ۴ مدل اختصاصی، پرسش و پاسخ با حافظه‌ی طلایی پیوسته قوی بود اما در خط‌لوله‌ی کامل به شدت افت کرد.
- حتی مدل‌های پیشرو بازخوانی پایین در ثبت، بازیابی ناقص و حذف ناامن حافظه داشتند، و افزودن حافظه‌ی رابطه‌ای برای هر ۲۰ مدل اثر مثبت داشت.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد.
چرا مهم است
دستیار خوب باید یاد بگیرد با هر آدم چطور کار کند، نه فقط چه چیزهایی درباره‌اش بداند. این بنچمارک نشان می‌دهد مشکل اصلی در ثبت و بازیابی حافظه است، نه در پاسخ دادن از روی حافظه‌ی درست.