مقاله‌ی arXiv:2610.07557 · در صف خبرنامه
CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
بنچمارک چکر: آیا ایجنت‌های بلندمدت می‌توانند بررسی‌کننده‌ی تحلیل ایستا بسازند؟
- تاریخ
- (۱۴ مهر ۱۴۰۵) 2026-10-06 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Hang He, Li Wang, Hao Chen, Yuchen Shao, Yuling Shi, Lisheng Wang, Peiyang Liu, Goose Lin, Zaiyuan Wang, Haiying Sun, Ting Su, Chengcheng Wan
- نهاد نویسنده‌ها
- East China Normal University; Humanlaya Data; Shanghai Jiao Tong University; Peking University; Shanghai Innovation Institute
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ساخت بررسی‌کننده‌ی تحلیل ایستا نیاز دارد ایجنت مشخصه‌ی یک نقص را تفسیر کند، مخزن را بررسی کند، منطق ویژه‌ی تحلیل‌گر را پیاده کند و بررسی‌کننده را با بازخورد مکرر کامپایل و تحلیل بهتر کند. بنچمارک‌های موجود روی تولید وصله یا تشخیص آسیب‌پذیری تمرکز دارند و به‌ندرت می‌سنجند آیا ایجنت می‌تواند از ابتدا تا انتها یک بررسی‌کننده‌ی کارا در مخزن بسازد.
روش
بنچمارک اجرایی CheckerBench شامل ۳۰۰ تسک برگرفته از ۲۹۷ آسیب‌پذیری ثبت‌شده در ۱۶۷ مخزن، ۸۵ دسته‌ی ضعف و پنج اکوسیستم زبانی است. هر تسک نسخه‌ی آسیب‌پذیر و اصلاح‌شده، یک محیط تحلیل ثابت و یک اسکلت بررسی‌کننده دارد. چارچوب CheckerLab بررسی‌کننده‌های ارسالی را مستقل بازسازی می‌کند و تمایز تشخیصی بین نسخه‌ی آسیب‌پذیر و اصلاح‌شده، مکان‌یابی وصله، مثبت کاذب و استفاده از ابزار را می‌سنجد.
یافته‌ها
- در ۲۱ پیکربندی مدل و هارنس با سه تکرار مستقل، میانگین Pass@۱ برابر ۳۲٫۳۰ درصد بود و بهترین به ۴۵٫۳۳ درصد رسید.
- ساخت بررسی‌کننده‌ی قابل اعتماد و قابل استفاده‌ی مجدد برای ایجنت‌های کدنویسی فعلی هنوز چالش‌برانگیز است.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ تسک‌ها از آسیب‌پذیری‌های شناخته‌شده‌ی عمومی ساخته شده‌اند.
چرا مهم است
بررسی‌کننده‌های تحلیل ایستا یک‌بار نوشته می‌شوند و همیشه جلوی تکرار یک نوع باگ را می‌گیرند. ایجنتی که بتواند آن‌ها را بسازد، امنیت نرم‌افزار را در مقیاس بالا می‌برد، اما این بنچمارک نشان می‌دهد هنوز به آنجا نرسیده‌ایم.