Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

مسئله

روش‌های یادگیری تقویتی ایجنتی با یک گلوگاه بنیادی روبه‌رو هستند: وقتی تسک‌ها از مرز توانایی فعلی مدل فراتر می‌روند، مسیرهای موفق خیلی کمیاب می‌شوند و آموزش اغلب فرو می‌پاشد، چون مدل چیزی برای یادگرفتن ندارد.

روش

روش RTI در زمان اجرا از شواهد سمت پاداش، یعنی معیارهای ارزیابی، استفاده می‌کند تا مسیرهای اشتباه را به موفق تبدیل کند و برای تسک‌هایی که سیاست خودش به ندرت حل می‌کند سیگنال یادگیری بسازد. چون این مسیرها ذاتاً خارج از سیاست‌اند، یک دروازه‌ی مبتنی بر پرپلکسیتی مسیرهایی با جابه‌جایی توزیعی بیش از حد را فیلتر می‌کند و وزن‌دهی دوباره‌ی توکن‌ها به‌روزرسانی را روی تصمیم‌های تعیین‌کننده متمرکز می‌کند.

یافته‌ها

• در پنج بنچمارک، پیوسته از پایه‌های یادگیری تقویتی بهتر بود.
• سیاست پس‌آموزش‌دیده به کارایی مدل‌های هم‌دوره‌ی خیلی قوی‌تر نزدیک شد و از مرز توانایی اولیه‌ی خودش فراتر رفت.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ روش به وجود معیارهای ارزیابی در زمان اجرا وابسته است و چکیده عدد مشخصی نمی‌دهد.