Training-Free On-Policy Distillation

مسئله

برای این‌که مهارت چند مدل متخصص (مثلاً یکی برای ریاضی و یکی برای کد) در یک مدل جمع شود، معمولاً از تقطیر روی سیاست استفاده می‌کنند: مدل شاگرد پاسخ تولید می‌کند و از هر معلم بازخورد می‌گیرد. این کار برای هر معلم اجرای مدل، محاسبه‌ی معلم و قدم‌های آموزش لازم دارد و گران است.

روش

نویسنده‌ها نشان می‌دهند وقتی متخصص‌ها از یک مدل پایه‌ی مشترک ساخته شده‌اند، این ادغام یک جواب دقیق لایه‌به‌لایه دارد. هر لایه‌ی خطی مدل ادغام‌شده باید خروجی هر متخصص را روی ورودی‌هایی که آن متخصص هنگام خواندن پاسخ‌های خودش می‌بیند بازتولید کند. این یک مسئله‌ی کمترین مربعات است که فقط به آمار ساده‌ی همان ورودی‌ها نیاز دارد، و یک بار اجرای رو به جلو روی چند صد پاسخ نمونه برای به دست آوردنشان کافی است.

یافته‌ها

• مدل ادغام‌شده به طور میانگین از هر کدام از متخصص‌ها به‌تنهایی دقیق‌تر بود.
• محتوای نمونه‌ها مهم‌تر از روش حل است: پاسخ‌هایی که در حلقه‌ی تکرار گیر کرده و بریده شده‌اند تعدادشان کم است ولی سهم بزرگی از توکن‌ها را دارند؛ حذفشان مدل ادغام‌شده را روی AIME25 از سطح روش رایج «حساب وظیفه» به سطح خود متخصص ریاضی رساند.
• روی مدل Olmo 3 7B، چند ساعت جی‌پی‌یو محاسبه‌ی رو به جلو برای هر متخصص، یک مدل عمومی داد که بیشتر بهبود هر متخصص را در هفت بنچمارک ریاضی و کد نگه داشت.

محدودیت‌ها

روش فقط وقتی کار می‌کند که متخصص‌ها از یک مدل پایه‌ی مشترک ساخته شده باشند؛ نویسنده‌ها محدودیت دیگری در چکیده ذکر نکرده‌اند.