مقاله‌ی arXiv:2610.13668 · منتشرشده در کانال
(When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection
آیا کارخانه‌ی نرم‌افزار می‌تواند بدون ناظر انسانی کار کند؟ سنجش ایجنت‌های بازبینی کد در یافتن باگ
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Chenyang Yang, Hao He, Ti-Chung Cheng, Jenna Butler, Emerson Murphy-Hill, Carmen Badea, Christian Bird
- نهاد نویسنده‌ها
- Carnegie Mellon University; Microsoft; Microsoft Research
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
با پیشرفت ایجنت‌های کدنویسی، برنامه‌نویس‌ها بیشتر وقتشان را صرف بازبینی کد می‌کنند تا نوشتن آن. چون سرعت بازبینی انسان از تولید کد عقب افتاده، وسوسه‌ی ساختن ایجنت‌های بازبینی خودکار و «کارخانه‌ی چراغ‌خاموش» بدون نظارت انسانی وجود دارد. سؤال این است که این ایده چقدر عملی است.
روش
بنچمارک CRBugBench با استخراج باگ‌ها از تاریخچه‌ی ریپوها ساخته شده و هر باگ را با PR که آن را وارد کرده جفت می‌کند. شامل ۱۰۰۰ تسک بازبینی از ۹۸ ریپوی متن‌باز گیت‌هاب و ۸۰۰ تسک از ریپوهای اختصاصی یک شرکت بزرگ است. نویسنده‌ها کیفیت بازبینی، شرایط تسک، رفتار و انتخاب‌های طراحی ایجنت را بررسی کردند.
یافته‌ها
- بهترین ایجنت (claude-opus-5 با copilot-cli) ۷۱٫۹ درصد باگ‌ها را در پنج کامنت اول پیدا کرد، در حالی که opus-4.6 پنج ماه پیش ۴۷٫۷ درصد پیدا می‌کرد.
- ایجنت‌ها روی تغییرهای پیچیده و باگ‌هایی که استدلال غیرمحلی می‌خواهند ضعیف‌ترند و روی ریپوهای اختصاصی صنعتی، که کانتکست پروژه بیشتر لازم است، افت شدیدی دارند.
- بزرگ کردن محاسبه بیشتر از راه تغییر پرامپت کمک کرد: پرامپت‌هایی که ایجنت را به کاوش بیشتر تشویق می‌کنند تا ۵٫۸ درصد بهبود با ۱۰ درصد هزینه‌ی بیشتر دادند.
محدودیت‌ها
نویسنده‌ها می‌گویند بنچمارک فقط یافتن باگ‌های شناخته‌شده را می‌سنجد، نه کل سودمندی بازبینی. داوری با مدل زبانی انجام شده که ممکن است خطا داشته باشد (با یک هیئت سه‌مدلی و کالیبره کردن با انسان کم شده)، و پاسخ مرجع هم ممکن است خطا داشته باشد.
چرا مهم است
هرکس می‌خواهد بازبینی کد را به ایجنت بسپارد، باید بداند چه چیزی از دستش در می‌رود. این کار نشان می‌دهد ایجنت‌ها هنوز برای کارخانه‌ی کاملاً خودکار آماده نیستند و راهنمای مشخصی برای استفاده از آن‌ها می‌دهد.