مقاله‌ی arXiv:2610.11291 · در صف خبرنامه
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
کِی به تقطیر درون سیاست نیاز داریم؟ تقطیر روی اجراهای آفلاین دانش‌آموز اغلب بهتر است
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Siyan Zhao, Yonggan Fu, Jindong Jiang, Shih-Yang Liu, Song Bian, Byung-Kwan Lee, Sharath Turuvekere Sreenivas, Wenliang Dai, Hanrong Ye, Aditya Grover, Pavlo Molchanov
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
تقطیر درون سیاست برای انتقال توانایی معلم به مدل دانش‌آموز رایج شده است: دانش‌آموز مدام پاسخ تازه تولید می‌کند و معلم آن‌ها را اصلاح می‌کند. سؤال این است که آیا نمونه‌گیری درون سیاست برای هر جفت معلم و دانش‌آموز مفید است، یا هزینه‌ی تولید مداوم پاسخ تازه گاهی بی‌فایده است.
روش
نویسنده‌ها جایگزین ساده‌ی Semi-OPD را پیشنهاد کردند که از اجراهای آفلاین تولیدشده توسط دانش‌آموز اولیه تقطیر می‌کند. آن را روی ۱۷ جفت معلم و دانش‌آموز از ۱٫۵ تا ۲۳۵ میلیارد پارامتر با تقطیر درون سیاست مقایسه کردند و هم‌راستایی اولیه‌ی معلم و دانش‌آموز را با نسبت هم‌پوشانی توکن‌های خروجی سنجیدند.
یافته‌ها
- این روش در ۱۴ مورد از ۱۷ جفت از تقطیر درون سیاست بهتر بود، با تا ۱۳٫۶ درصد دقت بیشتر و تا ۱۱٫۴ برابر سرعت آموزش بیشتر.
- انتخاب بین دو روش به هم‌راستایی معلم و دانش‌آموز بستگی دارد: تقطیر درون سیاست فقط وقتی مفید است که نسبت هم‌پوشانی بالا باشد.
- تقطیر مؤثر به درون‌سیاست بودن نسبت به هر دو، دانش‌آموز و معلم، نیاز دارد؛ در جفت‌های ناهم‌راستا اجراهای دانش‌آموز با بلندتر شدن کانتکست نسبت به معلم بیشتر برون‌سیاست می‌شوند و سیگنال تقطیر ضعیف می‌شود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نویسنده‌ها خودشان پیشنهاد می‌کنند گونه‌های قوی‌تر تقطیر درون سیاست با جفت‌های معنادار بیشتر بررسی شوند.
چرا مهم است
تقطیر درون سیاست گران است و اغلب بی‌چون‌وچرا به کار می‌رود. این کار یک معیار ساده می‌دهد تا پیش از آموزش بفهمیم آیا این هزینه ارزش دارد یا نه.