مقاله‌ی arXiv:2610.13594 · نگه‌داشته برای بعد
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
یادگیری از شکست با مداخله‌ی آموزشی زنده: مربی چندایجنتی برای فرار از فروپاشی پاداش صفر
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Guanlan Yue, Hang Yu, Xiaoyong Huang, Ruipeng Li, Wei Zhang, Bingchang Liu, Rui Wang
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
یادگیری تقویتی با پاداش قابل تأیید محرک اصلی مدل‌های استدلالی است، اما در برابر «فروپاشی پاداش صفر» آسیب‌پذیر است: وقتی سختی تسک ناگهان بالا می‌رود، همه‌ی تلاش‌ها شکست می‌خورند و سیگنال یادگیری از بین می‌رود. روش معمول مسیرهای ناموفق را دور می‌ریزد، در حالی که اطلاعات تشخیصی ارزشمندی درباره‌ی شکاف‌های شناختی مدل دارند. راه‌حل‌های موجود هم به مداخله‌های ثابت مثل کتابخانه‌ی راهنمای از پیش تعریف‌شده یا اصلاح بعد از واقعه برمی‌گردند.
روش
چارچوب چندایجنتی MENTOR مثل یک مربی زنده عمل می‌کند: علت ریشه‌ای شکست را در لحظه تشخیص می‌دهد و پرامپت‌های آموزشی هدفمند برای تلاش بعدی ایجنت در حال یادگیری می‌سازد. به عنوان یک ماژول افزودنی بدون تغییر زیرساخت آموزش، با خط لوله‌هایی مثل GRPO یکپارچه می‌شود.
یافته‌ها
- در تولید ریاضی و کد، فروپاشی پاداش صفر را به‌طور مؤثر کم کرد و از پایه‌های پیشرو بهتر بود.
- روی Llama-3.2-3B-Instruct تا ۷۸٫۳ درصد بهبود نسبی میانگین نسبت به مدل پایه داشت.
محدودیت‌ها
نویسنده‌ها می‌گویند سازوکار تولید پرامپت و راهنمایی استدلال فقط در سناریوهای تک‌وجهی تأیید شده و کاربردش در محیط‌های پویای پیچیده و تسک‌های چندوجهی بررسی نشده است.
چرا مهم است
وقتی مدل در آموزش همه‌ی تلاش‌ها را می‌بازد، یادگیری متوقف می‌شود. این کار نشان می‌دهد یک مربی که شکست را تشخیص می‌دهد و راهنمایی هدفمند می‌دهد، می‌تواند آموزش را از این بن‌بست بیرون بیاورد.