Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

مسئله

یکی از راه‌های انتقال اثر یادگیری تقویتی از یک مدل معلم به شاگرد این است که تفاوت احتمال‌های معلم قبل و بعد از یادگیری تقویتی را روی پاسخ‌های خود شاگرد به عنوان نظارت به کار ببریم. اما این تفاوت نهایی نشان نمی‌دهد که ترجیح‌ها در طول آموزش معلم پیوسته عوض شده‌اند یا نه. یک تفاوت نهایی یکسان می‌تواند حاصل تغییرهای اول و آخری باشد که هم‌دیگر را تقویت کرده‌اند، یا بخشی از هم را خنثی کرده‌اند.

روش

روش Waypoint-OPD از یک نقطه‌ی میانی از همان دوره‌ی یادگیری تقویتی معلم استفاده می‌کند. روی پیشوندهایی که شاگرد تولید کرده، تغییر ترجیح‌ها در نیمه‌ی اول آموزش با نیمه‌ی دوم مقایسه می‌شود. هر جا این دو هم‌جهت‌اند، تفاوت نهایی منتقل می‌شود و هر جا خلاف هم‌اند، سرکوب می‌شود. هزینه‌ی اضافه فقط یک بار امتیازدهی با معلم ثابت است.

یافته‌ها

• با معلم‌های Qwen3-4B که با یادگیری تقویتی آموزش دیده‌اند و شاگردهای Qwen3-8B، Qwen3-14B و Qwen3-30B-A3B، در هر شش ترکیب حوزه و شاگرد (ریاضی و کد) بالاترین میانگین را میان روش‌های تقطیر مقایسه‌شده داشت.
• حذف یا جابه‌جا کردن تصادفی دروازه‌ها، عملکرد ریاضی شاگرد Qwen3-8B را پایین آورد؛ پس خود اطلاعات جهت مهم است.

محدودیت‌ها

آزمایش‌ها فقط با معلم‌های کوچک ۴ میلیاردی و در ریاضی و کد انجام شده؛ نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند.