Recovering Reliable Supervision via Critique-Guided On-Policy Distillation

مسئله

تقطیر روی سیاست، مدل شاگرد را روی پاسخ‌های خودش با نظارت توکن به توکن از معلم آموزش می‌دهد و فرض می‌کند معلم از هر شروعی که شاگرد نوشته به پاسخ درست می‌رسد. نویسنده‌ها این ویژگی را «بازیابی‌پذیری معلم» می‌نامند و نشان می‌دهند روی پاسخ‌های غلط از کار می‌افتد: معلم خطاهای شاگرد را دنبال می‌کند، با این‌که آن‌ها را تشخیص می‌دهد.

روش

روش CriticOPD از توانایی معلم در تشخیص خطا استفاده می‌کند. معلم پاسخ غلط را نقد می‌کند و شاگرد با دنبال کردن نقد راه‌حلش را بازنویسی می‌کند. معلم خروجی را همراه با نقد، به عنوان اطلاعات ممتاز، امتیاز می‌دهد، در حالی که شاگرد برای آموزش از بازنویسی بدون نقد استفاده می‌کند.

یافته‌ها

• روی دو شاگرد Qwen3 و شش بنچمارک استدلال ریاضی، تقطیر روی سیاست را بهتر کرد.
• بیشترین بهبود روی مسئله‌های مسابقه‌ای بود.

محدودیت‌ها

نویسنده‌ها می‌گویند روش برای انتخاب پاسخ‌هایی که نقد می‌شوند و برای پشتیبانی نقد به پاسخ مرجع نیاز دارد، پس مستقیم فقط برای تسک‌هایی با پاسخ قابل تأیید مثل ریاضی کار می‌کند؛ تسک‌های دیگر مدل پاداش یا نقادی مستقل لازم دارند.