Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution

مسئله

بنچمارک‌هایی مثل SWE-bench پچ‌ها را فقط با پاس شدن تست‌های درستی ارزیابی می‌کنند و کارایی زمان اجرای پچ‌های درست تقریباً بررسی نشده است؛ دو پچ ممکن است هر دو تست را پاس کنند ولی یکی ده برابر کندتر باشد. طراحی بار کاری کارایی برای هر نمونه گران است.

روش

نویسنده‌ها بررسی کردند آیا تست‌های FAIL_TO_PASS موجود در بنچمارک، که رفتار مربوط به رفع مسئله را اجرا می‌کنند، برای سنجش کارایی قابل استفاده‌اند. چهار مدل پیشرو از خانواده‌های Claude، GPT، DeepSeek و Qwen همراه ایجنت SWE-agent روی مجموعه‌ی قابل اندازه‌گیری از بخش‌های تأییدشده‌ی SWE-bench و SWE-bench-Live اجرا شدند و ۲۶۲ مورد با دست‌کم دو راه‌حل درست متفاوت، شامل پچ مرجع توسعه‌دهنده، به دست آمد. کارایی با تعداد دستورالعمل و زمان واقعی اندازه‌گیری و با آزمون Welch ANOVA مقایسه شد.

یافته‌ها

• این روش توان تمایز قابل توجهی داشت و تقریباً در نیمی از نمونه‌ها تفاوت کارایی بین پچ‌ها پیدا کرد.
• کارایی زمان اجرای پچ‌ها مستقل از نرخ رفع مسئله‌ی مدل‌هاست و رتبه‌بندی مدل‌ها تقریباً برعکس شد.
• مطالعه‌ی موردی نشان داد تحلیل کارایی، پسرفت معماری در بعضی پچ‌ها را که ارزیابی درستی ندیده بود آشکار می‌کند.

محدودیت‌ها

نویسنده‌ها می‌گویند یافته‌ها به دامنه‌ی مجموعه بستگی دارند، چون بنچمارک‌ها با فیلتری سخت‌گیر به مجموعه‌ی قابل اندازه‌گیری کاهش یافتند، و در بعضی تست‌ها اندازه‌گیری‌ها به مقادیر خیلی کوچک و غیرقابل تمایز می‌رسند.