Prediction Is Not a Sufficient Memory State

مسئله

یک حافظه ممکن است همه‌ی پیش‌بینی‌های فعلی را درست بازتولید کند ولی فراموش کرده باشد چطور از مشاهده‌ی بعدی یاد بگیرد. مثلاً در رگرسیون ریج، دو تاریخچه‌ی متفاوت ممکن است پیش‌بین یکسانی بدهند، ولی با یک داده‌ی تازه به پیش‌بین‌های متفاوتی برسند، چون اطلاعات پنهان در ماتریس طراحی متفاوت است.

روش

این کار نظری، این تمایز را برای یادگیری تجمعی دقیق و توجه (attention) مشخص می‌کند. نشان می‌دهد برای تابع‌های زیان محدب هموار، وضعیت بازگشتی پیوسته با بعد ثابت دقیقاً وقتی وجود دارد که زیان چندجمله‌ای باشد، و تعداد دقیق مختصات لازم را محاسبه می‌کند. برای رگرسیون ریج، هزینه‌ی وضعیت دقیق و حد پایین خطای فشرده‌سازی بهینه را به دست می‌آورد و برای توجه کرنلی هم یک دسته‌بندی بستار دقیق ارائه می‌دهد.

یافته‌ها

• برای زیان چندجمله‌ای درجه‌ی D با مشاهده‌های بی‌وزن، تعداد دقیقی از مختصات لازم است، و حتی بین تاریخچه‌هایی با یک پیش‌بین ثابت، بخشی از این مختصات برای ادامه‌ی یادگیری ضروری می‌ماند.
• زیان‌های غیرچندجمله‌ای نیاز نامحدود دارند، و مثال‌های لجستیک این مانع را حتی بعد از ثابت کردن هر تعداد متناهی مشتق حفظ می‌کنند.
• برای رگرسیون ریج، شاهد پنهان ماتریس طراحی است و وضعیت دقیق از وضعیت پیش‌بین بزرگ‌تر است؛ فشرده‌سازی بهینه با تعداد بیت محدود حد پایین مشخصی از خطا دارد.

محدودیت‌ها

نویسنده می‌گوید نتیجه‌ها مشخص می‌کنند به‌روزرسانی‌های آینده چه چیزی را آشکار می‌کنند، و نه الگوریتم رگرسیون تازه‌ای پیشنهاد می‌کنند و نه بهبودی در مدل‌های آموزش‌دیده ادعا می‌کنند.