مقاله‌ی arXiv:2610.19789 · در صف خبرنامه
More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
بررسی واقعیت خودتقطیری در یادگیری تقویتی ایجنتی: هیچ روشی همیشه از GRPO بهتر نیست
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao, Yi Yuan, Hao Chen, Jingdong Chen, Chunhua Shen
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
تعداد روش‌های خودتقطیری در یادگیری تقویتی ایجنتی رو به افزایش است، اما ارزیابی‌های موجود اغلب عدد پایه‌های منتشرشده را زیر شرایط آزمایشی متفاوت دوباره استفاده می‌کنند، مقایسه‌ی مستقیم کمی بین روش‌های هم‌زمان دارند و به پایداری آموزش و هزینه‌ی محاسبه کم توجه می‌کنند. پس معلوم نیست بهبودهای گزارش‌شده از کجا می‌آیند.
روش
نویسنده‌ها ده روش نماینده را با GRPO روی ALFWorld، ScienceWorld، Search-QA و WebShop در سه اندازه‌ی مدل مقایسه کردند. مطالعه شامل ۱۳۲ اجرای آموزشی با مجموع ۱۲۱۲۴٫۴ ساعت GPU از نوع H800 است، با ارزیابی تکراری روی هشت بذر اجرا. علاوه بر کارایی نهایی، روند آموزش، پایداری و هزینه‌ی محاسبه‌ی اندازه‌گیری‌شده هم بررسی شد.
یافته‌ها
- بهبود نسبت به GRPO محدود است و هیچ روشی در همه‌ی تنظیم‌ها پیوسته از آن بهتر نبود.
- کارایی نهایی قوی می‌تواند آموزش ناپایدار را پنهان کند.
- هزینه‌ی آموزش بیشتر پیوسته به کارایی بهتر تبدیل نمی‌شود.
محدودیت‌ها
متن کامل HTML در دسترس نبود و این خلاصه بر اساس چکیده است؛ مقایسه به چهار محیط و سه اندازه‌ی مدل محدود است.
چرا مهم است
آموزش ایجنت گران است و انتخاب روش بر اساس عددهای غیرقابل مقایسه، منابع را هدر می‌دهد. این بنچمارک یک پایه‌ی منصفانه برای مقایسه می‌سازد و نشان می‌دهد بسیاری از ادعاها باید با احتیاط خوانده شوند.