Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents

مسئله

حافظه‌ی بلندمدت جزء اصلی ایجنت‌های مدل زبانی شده است. وقتی ایجنت در استفاده‌ی طولانی اطلاعات شخصی جمع می‌کند، کاربران بیشتر از آن می‌خواهند واقعیت‌های حساس یا کهنه را حذف کند؛ مثلاً «آدرس قبلی‌ام را فراموش کن». سیستم حافظه باید دقیقاً همان را حذف کند و بقیه را دست‌نخورده نگه دارد. بنچمارک‌های موجود فقط نوشتن، بازیابی و سازمان‌دهی حافظه را می‌سنجند.

روش

بنچمارک Bemula شامل ۵۰ گفت‌وگوی چندجلسه‌ای، ۱۳۵ درخواست فراموشی از شش نوع و ۱۷۴۲ پرسش آزمون است. هر گفت‌وگو یک نسخه‌ی کنترل بدون درخواست‌ها دارد، تا فقط سیستمی که هدف را ذخیره کرده بتواند برای فراموش کردنش امتیاز بگیرد. پنج مجموعه‌ی آزمون، ذخیره، حذف اطلاعات درخواستی، حفظ حافظه‌های نامرتبط، یادگیری دوباره‌ی واقعیت‌های مشابه و مقاومت در برابر حمله‌ی استخراج را می‌سنجند. شش سیستم حافظه‌ی رایج با سه مدل پایه ارزیابی شدند.

یافته‌ها

• هیچ سیستمی در هیچ مدل پایه‌ای بیش از ۱٫۵ درصد درخواست‌های فراموشی را به‌طور کامل پاس نکرد و بیشترشان هیچ‌کدام را پاس نکردند.
• سیستم‌ها یا اطلاعات درخواستی را زیر حمله‌های ساده قابل استخراج باقی گذاشتند یا خیلی بیشتر از درخواست حذف کردند.

محدودیت‌ها

نویسنده‌ها می‌گویند گفت‌وگوها ساختگی‌اند و از یک خط لوله‌ی تولید می‌آیند، و بنچمارک فقط حافظه‌ی گفت‌وگویی را پوشش می‌دهد، در حالی که ایجنت‌های ابزاردار ممکن است مقادیر فراموش‌شده را در کش و لاگ باقی بگذارند.