What Should an Agent Remember? Disentangling Retention from Retrieval in Bounded-Memory Evaluation

مسئله

یک ایجنت پایدار باید هم تصمیم بگیرد با رسیدن اطلاعات چه چیزی را نگه دارد و هم وقتی پرسشی آمد چه چیزی را بیرون بکشد. اما ارزیابی‌های حافظه با مقایسه‌ی روش‌هایی که هم در نگهداری و هم در انتخاب فرق دارند، این دو تصمیم را با هم قاطی می‌کنند؛ پس معلوم نیست بهبود گزارش‌شده از بازیابی بهتر است یا فقط از دسترسی به تاریخچه‌ی بیشتر.

روش

نویسنده یک بنچمارک یادآوری جریانی ساخت که قاعده‌های نگهداری و انتخاب را ضربدری ترکیب می‌کند و هر حالت را روی همان ۳۰۰ اپیزود با بذر ثابت ارزیابی می‌کند. ارزیابی روی SQuAD هم تکرار شد.

یافته‌ها

• با دسترسی ثابت، انتخاب آگاه از پرسش یادآوری واقعیت لازم را ۱۵٫۵ واحد درصد بهتر کرد، در حالی که یک مقایسه‌ی مختلط که دسترسی به تاریخچه را هم تغییر می‌داد ۶۸٫۷ امتیاز برتری گزارش کرد که ۵۳٫۲ امتیازش از دسترسی بود.
• زیر نگهداری محدود، انتخاب آگاه از پرسش، متراکم و اوراکل همه به سقف نگهداری رسیدند، و همه‌ی ۳۱۹ شکست در حالت نگهداری اخیر از بیرون‌رانی حافظه بود نه خطای رتبه‌بندی.
• با دور شدن کافی هدف در گذشته، یادآوری به صفر رسید؛ روی SQuAD سقف نگهداری حفظ شد و بازیابی متراکم از بازیابی واژگانی بهتر بود.

محدودیت‌ها

نویسنده می‌گوید محیط اصلی مصنوعی، تک‌اپیزودی و کوچک است (۱۰ واقعیت و ۲ پرسش) و طوری ساخته شده که انتخاب دقیقاً قابل حل باشد، و هر دو محیط یادآوری تک‌نوبتی‌اند نه حافظه‌ی چندجلسه‌ای ایجنت.