مقاله‌ی arXiv:2610.13152 · در صف خبرنامه
Quality, Not Just Outcome: A Structural Scoring Framework for Selecting Coding-Agent Trajectories for Supervised Fine-Tuning
کیفیت، نه فقط نتیجه: امتیازدهی ساختاری به مسیرهای ایجنت کدنویسی برای انتخاب داده‌ی آموزشی
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Sida Li, Yuanxin Liu, Shicheng Li, Linli Yao, Xu Sun, Haoli Bai, Xiaohui Li
- نهاد نویسنده‌ها
- Peking University; Huawei Technologies
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های کدنویسی باز معمولاً با آموزش نظارت‌شده روی مسیرهایی آموزش می‌بینند که پچ نهایی‌شان تست‌ها را پاس کرده است. این فیلتر کیفیت فرایند را نادیده می‌گیرد: مسیری که در نهایت موفق شده ممکن است الگوهای ناکارآمد داشته باشد، مثل بررسی تکراری فایل‌ها، استفاده‌ی ناپایدار از ابزار یا ویرایش دیرهنگام، و همه‌ی این‌ها بخشی از هدف تقلید می‌شوند.
روش
چارچوب TQS مستقیم روی ساختار مسیر کار می‌کند، داور مدل زبانی لازم ندارد و در زمان خطی اجرا می‌شود. کیفیت مسیر را با سیگنال‌های ساختاری حول «همگرایی ساختاریافته» می‌سنجد: تمرکز اطلاعات، هم‌خوانی قصد و اقدام، و پویایی سیاست. ۱۵۵۱۴۴ مسیر موفق از یک مجموعه‌ی عمومی با مجوز باز بر اساس TQS رتبه‌بندی شدند و ایجنت‌ها روی زیرمجموعه‌های فیلترشده تنظیم دقیق شدند.
یافته‌ها
- مدل‌هایی که روی مسیرهای با رتبه‌ی بالا آموزش دیدند، روی SWE-Bench-Verified پیوسته از مدل‌هایی که روی زیرمجموعه‌ی تصادفی یا رتبه‌ی پایین آموزش دیدند بهتر بودند.
- کیفیت فرایند مسیر عامل مهمی در نظارت ایجنت کدنویسی است و فیلتر ساختاری جایگزین مؤثر و مقیاس‌پذیری برای انتخاب داده با مدل زبانی است.
محدودیت‌ها
نویسنده‌ها می‌گویند آزمایش‌ها از مسیرهای CoderForge-Preview استفاده می‌کنند که یک مدل معلم زیر اسکافولد OpenHands تولید کرده؛ تجزیه‌گرها و آستانه‌ها برای فضاهای اقدام دیگر ممکن است کالیبراسیون دوباره بخواهند.
چرا مهم است
«تست پاس شد» معیار درشتی برای داده‌ی آموزشی است. این کار نشان می‌دهد با یک امتیازدهی ارزان و بدون مدل، می‌شود مسیرهای تمیزتر را انتخاب کرد و ایجنت بهتری ساخت.