Test-Time Memory Construction

مسئله

مدل‌های زبانی در پاسخ به پرسش‌هایی درباره‌ی تاریخچه‌ی طولانی تعامل مشکل دارند، چون شواهد مرتبط ممکن است در جلسه‌های دور از هم پراکنده باشد. سیستم‌های حافظه‌ی موجود معمولاً پیش از دیدن پرسش کاربر، بازنمایی‌های پیچیده‌ای را آفلاین می‌سازند و نگه می‌دارند، که هزینه‌ی زیادی دارد و نمی‌تواند ساخت حافظه را با نیاز اطلاعاتی خاص هر پرسش تطبیق دهد.

روش

چارچوب T²Mem ساخت حافظه را به زمان استنتاج موکول می‌کند و آن را در طول استدلال به تدریج می‌سازد. آفلاین فقط فراداده‌ی سبک در سطح هر رویداد را برای ثبت رویدادهای کلیدی و پیوندهای زمانی به عنوان سرنخ بازیابی استخراج می‌کند و پیوند به تعامل‌های اصلی را نگه می‌دارد. در زمان پرسش، مدل فراداده و تعامل‌های خام را تطبیقی بازیابی و سازمان‌دهی می‌کند و حافظه‌ی مخصوص پرسش را می‌سازد.

یافته‌ها

• روی LoCoMo و LongMemEval، در مدل‌های پایه‌ی مختلف پیوسته از پایه‌های قوی بهتر بود.
• هزینه‌ی ساخت حافظه را به‌طور چشمگیری کم کرد.
• موکول کردن ساخت حافظه به زمان استنتاج، اجازه داد فرایند ساخت با نیاز اطلاعاتی هر پرسش تطبیق یابد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی روی دو بنچمارک پرسش و پاسخ گفت‌وگویی است و چکیده عدد مشخصی نمی‌دهد.