Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe

مسئله

مدل‌های پیشرو حالا بین پیش‌آموزش و پس‌آموزش یک مرحله‌ی «میان‌آموزش» دارند، اما تقریباً چیزی درباره‌ی نحوه‌ی ساختنش منتشر نشده است. پیش‌آموزش معمولاً با کانتکست کوتاه انجام می‌شود و تقریباً هیچ تعامل ایجنتی نمی‌بیند. داده‌ی آموزش نظارت‌شده هم بیشتر ساختگی است، و مرحله‌های خیلی طولانی آن می‌تواند قابلیت آموزش بعدی مدل با یادگیری تقویتی را خراب کند.

روش

مرحله‌ی میان‌آموزش با کانتکست ۲۵۶ هزار توکنی و روی صدها میلیارد توکن انجام می‌شود. داده ترکیبی است از داده‌ی طبیعی مهندسی نرم‌افزار، مثل ریپوهای کامل، درخواست‌های ادغام، تاریخچه‌ی کامیت‌ها و لاگ‌های ساخت، به‌علاوه‌ی سهم کوچکی از ترنسکریپت ایجنت‌ها. برای ارزیابی هر دستور، یک آموزش نظارت‌شده‌ی کوتاه و ثابت اجرا می‌کنند، چون معیارهای مدل پایه با نتیجه‌ی پس‌آموزش هم‌بستگی قابل اعتمادی نداشتند.

یافته‌ها

• روی Nemotron ۳٫۵ Lightning، پانصد میلیارد توکن میان‌آموزش بعد از آموزش نظارت‌شده‌ی یکسان، SWE-bench Verified را از ۶۰٫۷ به ۶۴٫۵، نسخه‌ی چندزبانه را از ۵۵٫۸ به ۶۲٫۸ و SWE-bench Pro را از ۳۲٫۰ به ۳۵٫۵ رساند.
• روی مدل بزرگ‌تر Nemotron ۳٫۵ Super، دویست و هشتاد میلیارد توکن، بنچمارک کارهای طولانی DeepSWE را از ۱۱٫۷ به ۱۵٫۷ و SWE-bench Verified را از ۷۲٫۹ به ۷۴٫۳ رساند.
• میان‌آموزش پایداری مدل را در هارنس‌های مختلف ایجنت هم بهتر کرد.

محدودیت‌ها

مقاله یک بند «محدودیت‌ها و کار آینده» در نتیجه‌گیری دارد، اما محدودیت مشخصی در چکیده نیامده است؛ آزمایش‌ها روی دو مدل از یک خانواده انجام شده است.