PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents

مسئله

پاداش پایانی آموزش ایجنت‌های چندنوبتی را بدون برچسب قدم‌به‌قدم ممکن می‌کند، اما مزیت نسبی گروهی راهنمایی کمی درباره‌ی این‌که کدام تصمیم میانی باید عوض شود می‌دهد. مسیرهای ناموفق هم اقدام‌های معقول دارند، و الگوهای تصمیم نامطلوب ممکن است در طول آموزش تکرار شوند.

روش

روش PEARL تخصیص اعتبار محلی را بدون منتقد اضافه بهتر می‌کند. برای دو ادامه از یک تاریخچه با نتیجه‌های متفاوت، اولین نقطه‌ی واگرایی را پیدا می‌کند و برای تصمیم محلی هر شاخه یک بازنمایی ویژگی می‌سازد. این ویژگی‌ها را در حافظه‌های اخیر شکست و موفقیت خوشه‌بندی می‌کند تا الگوهای محلی تکرارشونده را بیابد، و با این حافظه، مزیت منفی را فقط در تصمیم‌های کم‌پاداش تقویت می‌کند و مزیت مثبت و بهینه‌ساز پایه را دست‌نخورده می‌گذارد؛ الگوهایی که در موفقیت‌ها هم دیده می‌شوند وتو می‌شوند.

یافته‌ها

• روی AppWorld، در هر دو اندازه‌ی ۴ و ۸ میلیاردی در تسک‌های عادی و چالشی از ARPO بهتر بود.
• روی ALFWorld، با مدل ۴ میلیاردی به میانگین موفقیت ۹۷٫۹ درصد رسید، ۲٫۷ امتیاز بالاتر از قوی‌ترین پایه، و در ۸ میلیارد رقابتی ماند.
• آزمایش‌های حذفی ارزش به‌روزرسانی انتخابی بر اساس الگوهای تکرارشونده را تأیید کردند.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ آزمایش‌ها به دو محیط و دو اندازه‌ی مدل محدودند.