Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps

مسئله

یادگیری تقویتی برای ایجنت‌های بلندمدت فقط به سیگنال‌های گذشته‌نگر تکیه دارد: اعتبار فقط پس از مشاهده‌ی پیامد محیط تخصیص می‌یابد و باور ایجنت در لحظه‌ی عمل برای گرادیان نامرئی می‌ماند. در نتیجه ایجنت ممکن است با اطمینان زیاد شکست بخورد یا با تردید موفق شود و آموزش این را نبیند.

روش

اصل آموزشی PH هر روش پایه‌ی گذشته‌نگر را با سیگنالی از فاصله‌ی پیش‌بینی آینده‌نگر ایجنت پیش از بازخورد و ارزیابی گذشته‌نگر پس از بازخورد تقویت می‌کند. این «شگفتی» در هر اجرا نمونه‌هایی را که خودمدل ایجنت در آن‌ها نادرست‌تر است پیدا می‌کند و سهم گرادیانشان را با یک مزیت وزن‌دارشده با شگفتی بزرگ می‌کند. چون پیش‌بین با سیاست پارامتر مشترک دارد، هر دو با هم تکامل می‌یابند و کالیبراسیون محصول جانبی بهینه‌سازی می‌شود.

یافته‌ها

• روی تسک‌های تک‌نوبتی قابل تأیید و یک تسک چندنوبتی ایجنت شخصی، با GRPO، تقطیر روی سیاست و ترکیبشان، هم کارایی تسک و هم کالیبراسیون بهتر شد، با بهبود پیوسته در مقیاس‌های مختلف مدل.
• حالت غالب ناکالیبراسیون بین رژیم‌ها فرق کرد، شکست‌های بیش از حد مطمئن در تک‌نوبتی و موفقیت‌های کم‌اطمینان در چندنوبتی، اما همان اصل هر دو را حل کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند مقادیر بالای ابرپارامتر تقویت شگفتی، یعنی ۲٫۰ یا بیشتر، می‌تواند به جهش‌های نرم گرادیان منجر شود، به‌ویژه در تسک‌های چندنوبتی و بلندمدت. چکیده عدد مشخصی برای بهبود نمی‌دهد.