مقاله‌ی arXiv:2610.10610 · در صف خبرنامه
Code Understanding is a Bottleneck for Coding Agents
فهم کد گلوگاه ایجنت‌های کدنویسی است، نه فقط ویرایش آن
- تاریخ
- (۱۵ مهر ۱۴۰۵) 2026-10-07 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Nishant Balepur, Kiran Tomlinson, Tobias Schnabel
- نهاد نویسنده‌ها
- Microsoft Research; University of Maryland
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بنچمارک‌های مخزن‌محور مثل SWE-bench اغلب فرض می‌کنند تعداد خطوط ویرایش‌شده سختی تسک را پیش‌بینی می‌کند، اما کنترل ضعیف این داده‌ها روی نوع کد و تسک باعث می‌شود نتوان فهمید کدام توانایی واقعاً خطاهای ایجنت را تعیین می‌کند. مثلاً یک اصلاح یک‌خطی ممکن است نیاز به فهم ده تابع مرتبط داشته باشد.
روش
بنچمارک CABRA تسک‌ها را از صفر به شکل تبدیل‌های گراف فراخوانی می‌سازد و سختی را با یک پارامتر اندازه‌ی تسک در چهار محور تنظیم می‌کند: پیمایش تابع، جست‌وجو، حل وابستگی زمان اجرا و پیروی از دستور. هشت مدل زبانی و شش ایجنت کدنویسی روی ۶۸۴۰ تسک اجرا شدند.
یافته‌ها
- دقت مدل‌های زبانی با بزرگ شدن تسک افت می‌کند، اما ایجنت‌ها با سپردن کار به ابزارهایی مثل
grepتقریباً کامل می‌مانند. - تسک‌های بزرگ‌تر فراخوانی ابزار بیشتری برای خواندن و تحلیل می‌طلبند، و یک مطالعه‌ی جدا روی SWE-bench Verified نشان داد این تعداد فراخوانی دقت ایجنت را بهتر از تعداد خطوط ویرایش‌شده پیش‌بینی می‌کند.
- در یک تسک فهم سنگین که مدل باید منطق متفاوت دو کلاس را تحلیل کند، دقت ایجنت‌ها سرانجام افت کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و نویسنده‌ها آن را پیش‌نویس در حال پیشرفت می‌نامند.
چرا مهم است
اگر سختی واقعی در فهم کد باشد، بنچمارک‌هایی که فقط ویرایش را می‌سنجند تصویر غلطی می‌دهند. این کار راه ارزیابی کنترل‌شده‌ی توانایی فهم کد را باز می‌کند.