مقاله‌ی arXiv:2610.19397 · در صف خبرنامه
SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning
یادگیری از ادامه‌ی واقعی یک «اوراکل» از همان وضعیتی که ایجنت به آن رسیده
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Dingyi Rong, Yue Shi, Chaofan Ma, Zongrui Wang, Jiezhang Cao, Yixin Cao, Liang He, Ning Liu
- نهاد نویسنده‌ها
- Shanghai Artificial Intelligence Laboratory, Shanghai Jiao Tong University, Tongji University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
یادگیری تقویتی برای کارهای طولانی محدود به آینده‌هایی است که سیاست فعلی می‌بیند. اگر اجراها هیچ‌وقت به رفتار مفید نرسند، هیچ روش تقسیم اعتباری نمی‌تواند برای وضعیت‌ها و عمل‌هایی که اصلاً دیده نشده‌اند نظارت بدهد. روش‌های تقطیر روی سیاست راهنمایی معلم را روی وضعیت‌های خود سیاست می‌دهند، اما از خود آینده‌ای که معلم کنترل می‌کند به عنوان مسیر آموزش استفاده نمی‌کنند.
روش
روش SERO یک وضعیت واقعی را که سیاست فعلی به آن رسیده بازیابی می‌کند و می‌گذارد یک اوراکل که فقط در آموزش در دسترس است، تعامل با محیط واقعی را از همان جا ادامه دهد. مشاهده‌های بعدی و عمل‌های اوراکل داده‌ی آموزش می‌شوند. هر قدم اوراکل با «وزن دسترس‌پذیری» سنجیده می‌شود: این‌که سیاست فعلی چقدر با عمل‌های قبلی اوراکل سازگار است. پس هرچه سیاست به شاخه‌ی اوراکل نزدیک‌تر شود، نظارت عمیق‌تر مؤثر می‌شود. در زمان استفاده هیچ اوراکلی لازم نیست.
یافته‌ها
- روی ALFWorld و WebShop با
Qwen2.5-1.5B-InstructوQwen2.5-7B-Instructارزیابی شد. - در ALFWorld، یاد گرفتن کل ادامه‌ی اجرایی اوراکل به‌طور چشمگیری از نظارت فقط بر اولین عمل اوراکل مؤثرتر بود.
- وزن‌دهی دسترس‌پذیری عملکرد بیرون از توزیع آموزش را باز هم بهتر کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند روش فرض می‌کند محیط آموزش را می‌شود به وضعیتی که سیاست دیده برگرداند و یک اوراکل اجرایی در آموزش هست؛ آزمایش‌ها هم به ALFWorld و WebShop و مدل‌های کوچک محدودند.
چرا مهم است
ایجنتی که هیچ‌وقت راه درست را ندیده، از پاداش هم یاد نمی‌گیرد. این روش راه درست را دقیقاً از همان نقطه‌ای که ایجنت گیر کرده نشانش می‌دهد، که برای محیط‌های قابل بازنشانی مثل شبیه‌سازها راهی عملی است.