مقاله‌ی arXiv:2610.12367 · منتشرشده در کانال
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution
کدام مهارت را تقطیر کنیم؟ انتخاب یک بانک مهارت فشرده برای هم‌تکاملی مدل و مهارت
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yuhan Liu, Xiyao Ma, Zhongkai Sun, Xu Han, Chengyuan Ma, Benjamin Z. Yao, Chenlei Guo
- نهاد نویسنده‌ها
- New York University; Amazon
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مهارت‌ها، یعنی راهنمایی رویه‌ای قابل استفاده‌ی مجدد که در زمان استنتاج اضافه می‌شود، می‌توانند کارایی مدل زبانی را خیلی بالا ببرند. کارهای قبلی مهارت‌ها را با ربط معنایی از یک بانک بازیابی می‌کنند و برای وصله‌ی زمان استنتاج یا تقطیر به کار می‌برند، اما سودمندی تک‌تک مهارت‌ها نادیده می‌ماند. نویسنده‌ها نشان دادند در تقطیر درون سیاست که سیاست‌های مشروط به مهارت معلم‌اند، کمتر از ۲۵ درصد مهارت‌های بازیابی‌شده سیگنال تقطیر مفید می‌دهند.
روش
روش SGUID یک زیرمجموعه‌ی فشرده از مهارت‌ها را برای تقطیر انتخاب می‌کند: مهارتی را فقط وقتی نگه می‌دارد که در طول آموزش پیوسته سیگنال یادگیری مؤثر بدهد. سپس مهارت‌های انتخاب‌شده تقطیر می‌شوند. پس از هر دور، یک بانک نامزد تازه از اجراهای مدل به‌روزشده ساخته می‌شود و روش انتخاب می‌کند کدام مهارت‌ها در مرحله‌ی بعد درونی شوند.
یافته‌ها
- در چهار مدل از خانواده‌های Olmo و Qwen، تقطیر ۶ مهارت انتخاب‌شده در سه مدل از چهار مدل با تقطیر کل بانک برابر یا بهتر بود، و پس از دور دوم با ۳ مهارت تازه در هر چهار مدل؛ در حالی که بانک‌های کامل تا ۱۱ برابر بزرگ‌ترند.
- در دور دوم، Qwen3-8B از ۶۴٫۳ به ۶۶٫۳ درصد رسید.
- انتخاب برای پایداری ضروری است: روی Qwen3-4B به‌روزرسانی بدون فیلتر کارایی را کم کرد، از جمله ۰٫۳ واحد افت روی HMMT25، ولی این روش HMMT25 را پس از دور اول ۰٫۵ و پس از دور دوم ۱٫۱ امتیاز بهتر کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند فقط روی تسک‌های تک‌نوبتی استدلال ریاضی آزموده‌اند و تعمیم به تسک‌های ایجنتی چندنوبتی را فقط انتظار دارند.
چرا مهم است
افزودن مهارت‌های بیشتر همیشه بهتر نیست و می‌تواند مدل را بدتر کند. این کار نشان می‌دهد انتخاب دقیق چند مهارت مفید، کلید بهبود پایدار مدل در طول دورهای پیاپی است.