Language Models Learn to Improve Language Models

مسئله

مدل‌های زبانی را برای خودکار کردن پژوهش هوش مصنوعی به کار می‌برند، مثلاً برای پیشنهاد تغییری در معماری یا داده‌ی یک مدل دیگر. اما یاد دادن این مهارت با یادگیری تقویتی گران است: باید ده‌ها هزار پیشنهاد را امتحان کرد و هر امتحان می‌تواند یک دور کامل آموزش مدل باشد. حتی با ده ساعت جی‌پی‌یو برای هر دور، فقط جمع کردن پاداش صدها هزار ساعت جی‌پی‌یو می‌خورد. جایگزین ارزان‌تر، یعنی پیش‌بینی نتیجه به جای اجرای واقعی، هم این خطر را دارد که مدل یاد بگیرد پیشنهادهایی بدهد که پیش‌بین بیش از حد خوب ارزیابی‌شان می‌کند.

روش

روش LM2LM یک مدل زبانی را با یادگیری تقویتی آموزش می‌دهد تا پیشنهاد بهبود بنویسد. پاداش را یک «مدل جهانِ پژوهش» می‌دهد: یک مدل زبانی ثابت که چند رکورد واقعی از آزمایش‌های قبلی را در کانتکستش دارد و از روی آن‌ها پیش‌بینی می‌کند هر پیشنهاد چقدر بهبود می‌دهد. برای این‌که این داور به مرور گمراه نشود، هر چند وقت یک بار پیشنهادهایی را که داور بالاتر از همه رتبه داده واقعاً اجرا می‌کنند و نتیجه‌ی واقعی را به کانتکست داور اضافه می‌کنند.

یافته‌ها

• در هشت محیط توسعه‌ی مدل زبانی (هم مدل‌های خودبازگشتی و هم مدل‌های دیفیوژنی) و با اجرای واقعی روی تسک‌هایی که در آموزش نبودند، مدل Qwen3.8-27B پس از آموزش از GPT-6-sol بهتر عمل کرد، حتی وقتی به GPT-6-sol سیصد رکورد آزمایش واقعی در کانتکست داده شد.
• هزینه‌ی تولید داده حدود یک‌سوم (۳۳ درصد) کمتر بود.
• مهارت یادگرفته به یک خانواده‌ی مدل که در آموزش دیده نشده بود هم منتقل شد.

محدودیت‌ها

نویسنده‌ها می‌گویند کار فقط در سطح «یک پیشنهاد بهبود» است، نه یک پروژه‌ی پژوهشی کامل از اول تا آخر. پیش‌بینی‌های داور هم کامل نیست و تنظیم دوباره‌اش هنوز به چند دور آموزش واقعی نیاز دارد.