مقاله‌ی arXiv:2610.22194 · نگه‌داشته برای بعد
AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
سیستمی چندایجنتی که مثل یک مهندس داده، داده‌ی آموزش نظارت‌شده را خودکار بهتر می‌کند
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Bingxiang He, Pengqi Sun, Shihao Peng, Shaoxuan Li, Huiyu Xiao, Hongjian Shi, Zixuan Fu, Ziqing Qiao, Yuxin Zuo, Cheng Qian, Xinqiang Yu, Jiayi Li, Xiusi Chen, Yizhen Song, Xiangyang Wang, Iofai Lei, Yudong Wang, Ning Ding, Zhiyuan Liu, Xiaozhi Wang, Chaojun Xiao
- نهاد نویسنده‌ها
- University of Illinois Urbana-Champaign, Tsinghua University, ModelBest, The Chinese University of Hong Kong
خلاصه‌ی فارسی
مسئله
وقتی کل ابزار آموزش مدل را به ایجنت‌ها می‌دهند، آن‌ها معمولاً به آموزش نظارت‌شده می‌رسند و بیشتر وقت را صرف اصلاح داده می‌کنند. اما سیستم‌های موجود فقط یک نوع کنترل دارند، مثلاً انتخاب ردیف از یک مخزن ثابت یا صدا زدن یک مولد داده. یک مهندس داده‌ی انسانی خیلی کارهای بیشتری می‌کند: نسبت دسته‌ها را عوض می‌کند، داده‌ی بد را حذف یا ترمیم می‌کند، جایگزین می‌کند و داده‌ی تازه می‌سازد.
روش
نویسنده‌ها یک فضای عمل برای همه‌ی این تغییرهای داده تعریف کرده‌اند. وقتی یک ایجنت تنها این حلقه را اجرا کرد، فقط به یک عمل رسید (تغییر نسبت دسته‌ها) و کانتکستش با خروجی اجراها پر و وسط جست‌وجو دور ریخته شد. پس سیستم چندایجنتی AutoSFT را ساختند: یک فرا-ایجنت اجرا را از تحلیل جدا می‌کند، از چند زاویه‌ی مستقل پیشنهاد جمع می‌کند و برای توانایی‌هایی که مخزن داده ندارد یک ساب‌ایجنت سازنده‌ی داده صدا می‌زند. مدل، آموزش‌دهنده و بودجه در هر مقایسه ثابت است.
یافته‌ها
- هر جزء که اضافه شد کمک کرد: جدا کردن اجراکننده از دست رفتن کانتکست را نصف کرد، ساب‌ایجنت‌های تحلیل بهترین نمره‌ی IFEval را ۶٫۵ امتیاز بالا بردند و ساخت داده ۳٫۴ امتیاز در IFEval و ۲٫۹ امتیاز در IFBench اضافه کرد.
- همین حلقه به کدنویسی هم منتقل شد: بخش تحلیل ۳٫۷ امتیاز در MBPP+ اضافه کرد، در حالی که ایجنت تنها اصلاً بهتر نشد.
- چون هر دور از مدل پایه دوباره آموزش داده شد، اثر هر جزء جداگانه قابل اندازه‌گیری است.
محدودیت‌ها
نویسنده‌ها می‌گویند همه‌ی نتایج روی یک مدل پایه در یک اندازه (Qwen3-1.7B-Base) است و ممکن است در اندازه‌های دیگر برقرار نباشد. برای هر پیکربندی فقط یک جست‌وجو اجرا شده، پس تفاوت بین جست‌وجوهای مستقل سنجیده نشده است.
چرا مهم است
بیشتر کار واقعی پس‌آموزش مدل‌ها روی داده است، نه الگوریتم. این مقاله نشان می‌دهد برای خودکار کردن این کار، پوشش دادن انواع مختلف تغییر داده از قوی‌تر کردن یک نوع تغییر مهم‌تر است، و جدا کردن کانتکست اجرا از تحلیل، همان درس ساب‌ایجنت‌ها، این‌جا هم جواب می‌دهد.