مقاله‌ی arXiv:2610.18004 · در صف خبرنامه
SWEPatchTest: Evaluating Software Tests Beyond Reproduction
سنجش تست‌های تولیدشده فراتر از بازتولید باگ: آیا تست، پچ درست را می‌پذیرد و پچ غلط را رد می‌کند؟
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Hua Lu, Pengcheng Wang, Han Li, Zichen Tian, Yanyu Chen, Huang He, Bingjin Chen
- نهاد نویسنده‌ها
- Baidu Inc.; Nanjing University; The Chinese University of Hong Kong
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های کدنویسی با تست‌های تولیدشده تصمیم می‌گیرند آیا یک پچ نیازهای مسئله را برآورده می‌کند. تستی که روی برنامه‌ی باگ‌دار شکست می‌خورد و بعد از پچ مرجع پاس می‌شود، هنوز ممکن است پچ غلطی را بپذیرد یا پچ درستی را رد کند؛ مثلاً تستی که فقط بررسی می‌کند خطا پرتاب نشود، هر پچی را که خطا را بی‌صدا بخورد هم می‌پذیرد.
روش
بنچمارک SWEPATCHTEST شامل ۶۱۹ تسک از SWE-bench Pro، SWE-bench Multilingual و DeepSWE و ۸۲۵۷۹ پچ نامزد از مسیرهای ایجنت‌های کدنویسی است. با بازپخش هر مجموعه تست روی کد باگ‌دار و پچ‌خورده، بازتولید مسئله، پذیرش پچ‌های درست و رد پچ‌های غلط را با هم می‌سنجد. معیار JVR هر سه شرط را روی همان تسک لازم دارد. امتیازهای تأیید برای انتخاب و بزرگ کردن نمونه‌های آموزش نظارت‌شده هم به کار رفت.
یافته‌ها
- بهترین پیکربندی فقط به JVR برابر ۹٫۲۱ درصد رسید، با این‌که گذار مرجع را در ۵۹٫۲۹ درصد تسک‌ها بازتولید می‌کرد.
- دستور آموزشی مبتنی بر امتیاز تأیید، JVR را تقریباً سه برابر کرد و ترمیم پایین‌دستی را در سه بنچمارک SWE-bench بهتر کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند برچسب پچ‌ها از داور رسمی می‌آید که تعریفی عملیاتی از درستی است، نه تضمین رسمی درستی معنایی؛ با فیلتر تسک‌های ضعیف و بررسی دستی کیفیت این نگرانی کم شده است.
چرا مهم است
ایجنت کدنویسی به تست‌هایش اعتماد می‌کند تا بداند کارش درست است. این کار نشان می‌دهد تست‌های تولیدشده خیلی کمتر از آنچه به نظر می‌رسد قابل اعتمادند و راهی برای آموزش تست‌نویسی بهتر می‌دهد.