مقاله‌ی arXiv:2610.01509 · منتشرشده در کانال
Sharpening Tax in Post-Training
مالیات تیزسازی در پس‌آموزش: مدل‌های پایه در پوشش راه‌حل از نسخه‌ی پس‌آموزش‌دیده بهترند
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Changdae Oh, Qi Zeng, Qi Qi, Andrey Zhmoginov, Deren Lei, Yun He, Hoang Phan, Hangoo Kang, Azalia Mirhoseini, Sharon Li
- نهاد نویسنده‌ها
- Meta Superintelligence Labs; University of Wisconsin–Madison; NYU; Stanford University
خلاصه‌ی فارسی
مسئله
یک فرضیه‌ی رایج این است که پس‌آموزش با یادگیری تقویتی فقط رفتارهای موجود مدل پایه را تیز می‌کند و دقت تک‌تلاشی را به قیمت پوشش راه‌حل‌ها بالا می‌برد. این مبادله در ریاضی و کد دیده شده، اما معلوم نیست در تسک‌های ایجنتی که استفاده‌ی چندنوبتی از ابزار ممکن است توانایی تازه بخواهد هم برقرار باشد.
روش
نویسنده‌ها مدل‌های پیش‌آموزش‌دیده را با یک هارنس استنتاج سبک به عنوان ایجنت آزمودند، سازوکار را تحلیل کردند و معیار تشخیصی «مالیات تیزسازی» را پیشنهاد دادند که کاهش مقیاس‌پذیری زمان آزمون پس از پس‌آموزش را می‌سنجد. سپس روش نمونه‌گیری گروهی با دمای پسین تنظیم‌شده را معرفی کردند که دمای نمونه‌گیری را برای هر پرامپت با دشواری تخمینی‌اش تطبیق می‌دهد.
یافته‌ها
- مدل‌های پیش‌آموزش‌دیده با وجود دقت pass@۱ بسیار پایین‌تر، با بودجه‌ی کافی زمان آزمون اغلب در pass@K از نسخه‌ی پس‌آموزش‌دیده بهتر بودند.
- پس‌آموزش تسک‌ها را به دو سر طیف، همیشه حل‌شده یا هرگز حل‌نشده، می‌راند و کارایی و پایداری را به قیمت پوشش بالا می‌برد.
- در ۱۴ جفت مدل پایه و پس‌آموزش‌دیده از چهار خانواده و سه بنچمارک ایجنتی (۴۲ حالت)، این مالیات در بیشتر تنظیم‌ها وجود داشت و با چند اجرا قابل تخمین بود.
- روش نمونه‌گیری پیشنهادی در دو محیط ایجنتی مالیات کمتری از پایه‌ی دمای ثابت پرداخت و هم تسک‌های بیشتری با نمونه‌گیری مکرر حل کرد و هم دقت تک‌تلاشی را بهتر کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند مدل‌های باز تحلیل‌شده داده‌ی دقیق پیش‌آموزش و پس‌آموزش را منتشر نمی‌کنند، پس تحلیل مشاهده‌ای است نه مداخله‌ای.
چرا مهم است
اگر پس‌آموزش توانایی کاوش مدل را کم کند، ایجنت‌ها با بودجه‌ی بیشتر کمتر بهتر می‌شوند. این کار هم این هزینه را قابل سنجش می‌کند و هم راهی برای کاهشش می‌دهد.