مقاله‌ی arXiv:2610.18572 · نگه‌داشته برای بعد
LLM Agents for Automated Post-Training via Structured Recipe Optimization
ایجنت‌هایی که دستور پس‌آموزش مدل را خودکار طراحی و بهینه می‌کنند، با فضای انتخاب متناسب با تسک
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Ruohong Liu, Bohan Tang, Lekang Jiang, Jack Umenberger, Yiwen Guo
- نهاد نویسنده‌ها
- University of Oxford; LIGHTSPEED; University of Cambridge
خلاصه‌ی فارسی
مسئله
پس‌آموزش خودکار یعنی ساختن و بهینه کردن یک «دستور» از تصمیم‌های به‌هم‌پیوسته درباره‌ی منبع داده، پردازش داده، ترکیب بین حوزه‌ها و تنظیمات آموزش، با بودجه‌ی آزمایشی محدود. روش‌های موجود یا فضای دستور از پیش تعریف‌شده را جست‌وجو می‌کنند که ثابت است و با تسک تطبیق نمی‌یابد، یا از ایجنت‌های باز استفاده می‌کنند که انتخاب‌های خاص تسک را کشف می‌کنند ولی آن‌ها را در ویرایش‌های هر آزمایش پنهان نگه می‌دارند و استفاده‌ی دوباره را سخت می‌کنند.
روش
الگوی پیشنهادی، بهینه‌سازی روی فضای دستورِ متناسب با تسک است: خود فضا با تسک تطبیق می‌یابد ولی انتخاب‌هایش صریح‌اند. روش SRO یک طراح فضای دستور مبتنی بر مدل زبانی دارد که این فضا را می‌سازد، و یک بهینه‌ساز چندحوزه‌ای که با شواهد ساختاریافته‌ی آزمایش‌ها ساخت نامزد با مدل زبانی و انتخاب بیزی چندهدفه را هدایت می‌کند.
یافته‌ها
- در همه‌ی ترکیب‌های مدل هدف و مدل ایجنت، بالاترین میانگین امتیاز را گرفت.
- در پس‌آموزش مشترک روی سه حوزه و شش بنچمارک، روی Qwen3-1.7B با GPT-5.4 به ۴۱٫۱ در برابر ۱۵٫۴ برای قوی‌ترین پایه رسید، و روی Qwen3-4B با DeepSeek-V4-Flash به ۵۳٫۸ در برابر ۴۰٫۸.
محدودیت‌ها
نویسنده‌ها می‌گویند مجموعه‌ی اجزای قابل جست‌وجو و سازمانشان در هر اجرا ثابت می‌ماند و بهینه‌سازی نوع تازه‌ای از جزء اضافه نمی‌کند یا ساختار را تغییر نمی‌دهد.
چرا مهم است
خودکار کردن پژوهش آموزش مدل یکی از هدف‌های اصلی ایجنت‌های پژوهشگر است. این کار نشان می‌دهد صریح نگه‌داشتن انتخاب‌ها، به ایجنت امکان استفاده‌ی دوباره و ترکیب نظام‌مند تجربه‌ها را می‌دهد.