مقاله‌ی arXiv:2610.08662 · در صف خبرنامه
ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding
پارانویا‌اوال: سنجش کار دفاعی غیرضروری در کدنویسی ایجنتی
- تاریخ
- (۱۴ مهر ۱۴۰۵) 2026-10-06 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Hanjun Luo, Xiucheng Zhang, Zhuoning Xu, Zhimu Huang, Yingbin Jin, Xinfeng Li, Hanan Salam
- نهاد نویسنده‌ها
- New York University; New York University Abu Dhabi; The Hong Kong Polytechnic University
خلاصه‌ی فارسی
مسئله
با انجام مستقل کارهای واقعی توسط ایجنت‌های کدنویسی، قضاوت درباره‌ی این‌که آیا برخوردشان با ریسک موجه است اهمیت پیدا کرده است. ایجنتی که بی‌دلیل از تغییر یک فایل امن پرهیز می‌کند، کار را به کاربر برمی‌گرداند یا لایه‌های حفاظتی غیرلازم اضافه می‌کند، وقت توسعه‌دهنده را هدر می‌دهد. کارهای موجود این رفتارها را از دیدهای جدا ارزیابی می‌کنند و چارچوب یکپارچه‌ای ندارند.
روش
بنچمارک ParanoiaEval بر پایه‌ی چارچوب شناخته‌شده‌ی مدیریت ریسک نرم‌افزار، یعنی پرهیز، انتقال، کاهش و پذیرش، چهار برخورد اصلی را برای ایجنت‌های کدنویسی عملیاتی می‌کند و ۲۰۰ جفت تسک سطح مخزن با شواهد کنترل‌شده دارد که هر جفت فقط در شاهد تعیین‌کننده‌ی برخورد فرق دارد. معیارهای ویژه برای نقض برخورد و پاسخ‌گویی به شواهد با یک داور ایجنتی کالیبره‌شده با انسان سنجیده می‌شوند.
یافته‌ها
- با وجود شواهد صریح، برخورد غیرضروری با ریسک در ۱۱٫۲ تا ۵۸٫۷ درصد اجراها رخ می‌دهد و بین پیکربندی‌های ایجنت خیلی متفاوت است.
- توان بالاتر در تسک برخورد مناسب‌تر با ریسک را تضمین نمی‌کند، و نقض‌ها تجربه‌ی توسعه‌دهنده را به‌شدت بدتر می‌کنند؛ پس این یک بُعد توانایی مستقل است.
- ایجنت‌ها الگوهای نظام‌مندی سازگار با یافته‌های شناخته‌شده‌ی مدیریت ریسک انسانی نشان می‌دهند.
محدودیت‌ها
نویسنده‌ها می‌گویند جفت‌های تسک اثر شواهد را با تغییر یک واقعیت جدا می‌کنند، در حالی که در توسعه‌ی واقعی شواهد ممکن است پراکنده، مبهم یا متناقض باشند، پس کارایی روی این جفت‌ها نماینده‌ی کامل محیط‌های کمتر ساختاریافته نیست.
چرا مهم است
بحث ایمنی ایجنت‌ها معمولاً روی بی‌احتیاطی است، اما احتیاط بیش از حد هم هزینه دارد. این بنچمارک نشان می‌دهد ایجنت‌ها اغلب حتی وقتی شواهد روشن است بی‌دلیل محتاط‌اند.