Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training

مسئله

مدل‌های زبانی در استدلال پیچیده پیشرفت چشمگیری داشته‌اند، اما بزرگ کردن پس‌آموزش استدلال با مجموعه‌داده‌های بزرگ‌تر هزینه‌ی آموزش را بدون بهبود متناسب بالا می‌برد. سؤال این است که نظارت استدلال را تا چه حد می‌شود فشرده کرد بدون این‌که توانایی از دست برود.

روش

چارچوب پیشنهادی نظارت و بهینه‌سازی را روی مسیرهای استدلالی متمرکز می‌کند که بیشترین ارزش یادگیری را دارند. به جای این‌که زنجیره‌ی فکر معلم یک مسیر واحد دیده شود، درخت‌های استدلال مونت‌کارلو حول وضعیت‌های میانی ساخته می‌شوند تا عدم اطمینان در سطح فرایند آشکار شود. این عدم اطمینان اول مجموعه‌ی اصلی را به یک مخزن فشرده‌ی آگاه از معلم کاهش می‌دهد؛ مرحله‌ی دوم، آگاه از یادگیرنده، در طول آموزش نظارت‌شده مسیریابی آنلاین انجام می‌دهد و بهینه‌سازی را بر اساس وضعیت یادگیری شاگرد متمرکز می‌کند.

یافته‌ها

• در بنچمارک‌های استدلالی و خانواده‌های مدل متنوع، با فقط ۰٫۲۲ درصد بودجه‌ی بهینه‌سازی آموزش نظارت‌شده‌ی کامل، یعنی بیش از ۴۵۰ برابر مواجهه‌ی آموزشی کمتر، کارایی استدلال را حفظ یا بهتر کرد.
• به خانواده‌های شاگرد ناهمگون، معلم‌های جعبه‌سیاه و انتقال از ضعیف به قوی تعمیم یافت.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ساختن درخت‌های مونت‌کارلو خودش هزینه‌ی محاسبه‌ای دارد که در بودجه‌ی آموزش شاگرد حساب نشده است.