ImproveAnyTask: An Autonomous Post-Training Harness for Iterative Model Self-Improvement

مسئله

تطبیق مدل‌های زبانی همه‌منظوره با تسک‌های خاص به تلاش انسانی زیادی برای طراحی داده و راهبرد آموزش نیاز دارد. حفظ بهبود به‌ویژه سخت است، چون هر به‌روزرسانی مدل توزیع خطاها را تغییر می‌دهد و راهبرد باید پیوسته اصلاح شود؛ مثلاً پس از رفع خطاهای قالب خروجی، خطاهای استدلال برجسته می‌شوند که راه‌حل دیگری می‌خواهند.

روش

هارنس ImproveAnyTask با الهام از بهینه‌سازی گرادیانی، تطبیق را به سه بخش سازمان می‌دهد: نسبت دادن خطا، انتخاب جهت به‌روزرسانی و به‌روزرسانی اجرایی مدل. با تحلیل سطح معیار و سطح نمونه یک مسئله‌ی کانونی پیدا می‌کند، راهبردهای مستند در پژوهش‌ها را بررسی و سود گزارش‌شده و سختی بازتولیدشان را مقایسه می‌کند. راهبرد انتخابی به داده‌ی آموزشی و پیکربندی آموزش تبدیل می‌شود و پیش از پس‌آموزش کامل با اجرای کوچک بررسی می‌شود؛ ارزیابی بعدی انتخاب مدل و تطبیق بعدی را هدایت می‌کند و راهبردهای تأییدشده برای استفاده‌ی مجدد نگه داشته می‌شوند.

یافته‌ها

• در ۱۱ تسک، با بودجه‌ی ۲۴ ساعته و منابعی معادل هشت پردازنده‌ی گرافیکی H20، میانگین بهبود ۱۸٫۲۹ واحد درصد برای مدل‌های پایه و ۱۱٫۹۷ واحد درصد برای مدل‌های دستوری به دست آمد.
• بیشترین بهبود در یک تسک به ۴۱٫۹۶ امتیاز رسید.

محدودیت‌ها

نویسنده‌ها می‌گویند فقط کارایی تسک هدف را سنجیده‌اند و به‌طور نظام‌مند بررسی نکرده‌اند که تخصصی شدن روی توانایی‌های عمومی مدل اثر می‌گذارد یا نه.