مقاله‌ی arXiv:2610.12659 · نگه‌داشته برای بعد
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
فرار از «تله‌ی مزیت صفر» در یادگیری تقویتی با پاداش قابل تأیید، با ساخت بازگشتی مسئله‌های تازه
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Ximing Lu, Aviral Kumar, Jan Kautz, Yejin Choi, David Acuna
- نهاد نویسنده‌ها
- University of Washington; Carnegie Mellon University; NVIDIA; Stanford University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بزرگ کردن داده‌محور یادگیری تقویتی با پاداش قابل تأیید روی جمع‌آوری یا تولید مسئله‌های آموزشی متمرکز بوده، اما اندازه‌ی مجموعه به تنهایی تعیین نمی‌کند که داده برای یک سیاست هدف سیگنال یادگیری مفید می‌دهد. نویسنده‌ها نشان دادند یک مجموعه‌ی بزرگ ریاضی متن‌باز تقریباً کامل در «تله‌ی مزیت صفر» است: برای یک سیاست و بودجه‌ی اجرای ثابت، حدود ۸۸ درصد مسئله‌ها یا در همه‌ی اجراها حل می‌شوند یا در هیچ‌کدام، پس چیزی برای یادگرفتن نمی‌دهند. فیلتر کردن هم فقط انتخاب می‌کند و مسئله‌های سخت را دور می‌ریزد.
روش
الگوریتم MagicBeanStalk با تجزیه‌ی بالا به پایین و ساخت بازگشتی پایین به بالا، مسئله‌های بذر را به خانواده‌هایی از مسئله‌های آموزشی واقعاً تازه تبدیل می‌کند که با سیاست و بودجه کالیبره‌اند، یعنی بعضی اجراها موفق و بعضی ناموفق‌اند و دست‌کم یک راه‌حل درست در بودجه جا می‌شود، و در عین حال طرح استدلالی بذرها را حفظ می‌کنند.
یافته‌ها
- در ۸ بنچمارک ریاضی با بودجه‌ی ۱۶ هزار توکن، یادگیری تقویتی پیوسته روی این مسئله‌ها gpt-oss-120b را از ۶۱٫۲ به ۶۹٫۸ و DeepSeek v4Flash را از ۷۲٫۴ به ۷۷٫۹ رساند.
- آموزش روی کل مجموعه‌ی منبع ۷۸ هزاری فقط ۱٫۱ و بهترین زیرمجموعه‌ی فیلترشده‌ی واقعی ۵٫۸ امتیاز بهبود داد؛ درخواست مستقیم از معلم برای تغییر مسئله‌های سخت هم به نتیجه نرسید.
- در مالی، از فقط ۳۴۰ راه‌حل بیش از ۱۴ هزار مسئله‌ی قابل تأیید ساخت و کارایی را روی SecQue و FinanceBench به ترتیب ۶٫۹ و ۲٫۴ امتیاز بهتر کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نویسنده‌ها اشاره می‌کنند که ناتوانی در تأیید یک پاسخ ممکن است از محدودیت داور روی مسئله‌های سخت باشد.
چرا مهم است
جمع کردن داده‌ی بیشتر برای یادگیری تقویتی اغلب بی‌فایده است، چون بیشترش برای مدل یا خیلی آسان است یا خیلی سخت. این کار نشان می‌دهد ساختن مسئله‌هایی با سختی درست، خیلی مؤثرتر است.