مقاله‌ی arXiv:2610.13267 · نگه‌داشته برای بعد
Forgetting is Not Always Bad: A Neuro-Inspired Memory Repair Mechanism for Poisoned LLM Agents
فراموشی همیشه بد نیست: ترمیم حافظه‌ی مسموم ایجنت با الهام از سازوکار فراموشی در مغز
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Lei Liu, Yunji Liang, Xiaowen Zhang, Jingqi Liu, Qi Li, Bin Guo, Zhiwen Yu
- نهاد نویسنده‌ها
- National University of Singapore
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های مدل زبانی در برابر حمله‌ی مسموم‌سازی حافظه خیلی آسیب‌پذیرند؛ مثلاً یک حمله‌کننده رکوردی در حافظه می‌کارد که ایجنت را در موقعیت خاصی به اقدام مخرب وامی‌دارد. دفاع‌های موجود بیشتر به ماژول‌های بیرونی برای جداسازی ثابت حافظه یا ممیزی آنلاین پیوسته تکیه دارند که کارایی حافظه را کم و هزینه‌ی محاسبه را زیاد می‌کند.
روش
با الهام از سازوکار عصبی‌ای که در آن فعال‌سازی دوباره‌ی ضعیف می‌تواند حافظه را ناپایدار کند و بدون تقویت به فراموشی بینجامد، چارچوب DREAM یک ترمیم حافظه‌ی درونی و بدون آموزش برای ایجنت است. سه مرحله دارد: فعال‌سازی ضمنی با اختلال برای آشکار کردن شکنندگی ساختاری حافظه‌های مخرب، تشخیص ناهنجاری تطبیقی بر اساس الگوهای فعال‌سازی چندبعدی، و ترمیم پویا که حافظه‌های مضر را سرکوب و حافظه‌های سالم را تقویت می‌کند.
یافته‌ها
- در برابر مسموم‌سازی در پشتی، نرخ موفقیت حمله را بیش از ۹۵ درصد کم کرد و سودمندی عادی را حفظ کرد؛ در برابر حمله‌های تزریقی هم مقاومت رقابتی داشت.
- در مقایسه با A-MemGuard تا ۲٫۱۳ برابر سریع‌تر بود و ۳۷٫۷ درصد توکن کمتری مصرف کرد.
- روی سیستم‌های چندایجنتی مسموم به نرخ موفقیت تسک ۹۲٫۹۶ درصد رسید.
محدودیت‌ها
نویسنده‌ها می‌گویند روش به یک کاوشگر فعال‌سازی چندبعدی وابسته است و حمله‌کننده‌ای که جزئیات این کاوشگر را بداند، در اصل می‌تواند حافظه‌ی مسموم را طوری بهینه کند که زیر آن پایدار بماند.
چرا مهم است
حافظه‌ی پایدار ایجنت یک سطح حمله‌ی تازه است. این کار راهی سبک برای پاک کردن انتخابی حافظه‌های مسموم بدون ممیزی پرهزینه پیشنهاد می‌کند.