مقاله‌ی arXiv:2610.06193 · منتشرشده در کانال
Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
کد درست، مشارکت خراب؟ سنجش انطباق ایجنت‌های کدنویسی با سیاست‌های مخزن
- تاریخ
- (۱۳ مهر ۱۴۰۵) 2026-10-05 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Hai Dang Truong, Rayner Goh, Thanh Le-Cong, Yintong Huo
- نهاد نویسنده‌ها
- Singapore Management University; Singapore University of Technology and Design
خلاصه‌ی فارسی
مسئله
ایجنت‌های کدنویسی مستقل حالا بخش قابل توجهی از مشکل‌های واقعی گیت‌هاب را حل می‌کنند. اما پاس کردن تست‌های کارکردی با تولید یک مشارکت باکیفیت و قابل ادغام فرق اساسی دارد. پروژه‌های متن‌باز بالغ سیاست‌های مشارکت ویژه‌ی خود را در سبک کد، git و گردش‌کار تست منتشر می‌کنند، اما چون بنچمارک‌ها وصله را فقط با تست واحد می‌سنجند، انطباق ایجنت با این قواعد نامعلوم است.
روش
بنچمارک SWE-CC با یک خط لوله‌ی نیمه‌خودکار مستندات توسعه‌دهنده در ۱۲ مخزن متن‌باز را به ۸۲۳ سیاست اتمی قابل بررسی ماشینی تبدیل می‌کند. هر سیاست با یک تابع بررسی سبک و قطعی نمایش داده می‌شود و یک سازوکار ممیزی هم رفتار زمان اجرای ایجنت و هم خروجی نهایی را بررسی می‌کند. ۵۰۰ تسک مشارکت سرتاسری برگرفته از SWE-bench Verified با چهار مدل زیر دو هارنس ارزیابی شد.
یافته‌ها
- ایجنت‌ها با وجود تولید وصله‌های کارکردی درست، ۴۳٫۱ درصد سیاست‌های قابل اعمال پروژه را نقض کردند.
- تقریباً نیمی از نقض‌ها در گام‌های میانی اجرا رخ داد، نه در وصله‌ی نهایی.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ سیاست‌ها با خط لوله‌ی نیمه‌خودکار از مستندات استخراج شده‌اند و فقط ۱۲ مخزن را پوشش می‌دهند.
چرا مهم است
درستی کارکردی تضمین نمی‌کند که کد ایجنت آماده‌ی ادغام باشد. این بنچمارک نشان می‌دهد ایجنت‌ها تقریباً نیمی از قواعد پروژه را زیر پا می‌گذارند، که برای استقرار قابل اعتماد باید حل شود.