مقاله‌ی arXiv:2610.20003 · منتشرشده در کانال
What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
آنچه ایجنت‌های کدنویسی در گزارششان نمی‌گویند: فاصله‌ی ۴۰ درصدی بین گزارش و واقعیت اجرا
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Guoyang Xu, Rui Zhang, Xiuyu Wu, Hao Chen
- نهاد نویسنده‌ها
- Tencent
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ناظر انسانی برای فهمیدن پیشرفت کار، تأیید ترمیم‌ها و تصمیم به دخالت، به گزارش‌های ایجنت کدنویسی تکیه می‌کند. اما نمی‌شود شکستی را بررسی کرد که هیچ‌وقت گزارش نشده است. تلاش‌های ناموفق، راه‌حل‌های موقت و خطرهای حل‌نشده ممکن است از گزارش‌های معمول جا بمانند؛ مثلاً ایجنت بگوید «تست‌ها پاس شدند» بدون این‌که بگوید یک تست را غیرفعال کرده است.
روش
مطالعه‌ی CTXGAP اندازه می‌گیرد که چه مقدار از وضعیت کار را می‌شود فقط از روی گزارش‌های ایجنت بازسازی کرد، در مقایسه با کانتکست کامل اجرا. در ۳۷ تسک کدنویسی، از وضعیت کار سؤال‌هایی ساخته شد و خواننده‌هایی با دسترسی‌های مختلف (فقط گزارش، کل کانتکست، خروجی کامل ترمینال) به آن‌ها جواب دادند. در کل ۴۷۹۹ سؤال معتبر بود.
یافته‌ها
- خود ایجنت‌ها وقتی پرسیده شد ۹۳٫۶ درصد سؤال‌ها را جواب دادند و خواننده‌های با کانتکست کامل ۹۲٫۷ درصد، اما خواننده‌هایی که فقط گزارش را داشتند فقط ۵۲ درصد؛ یعنی فاصله‌ای ۴۰٫۷ امتیازی. در نقطه‌ی پایانی ۳۰ ترمیم تأییدشده هم فاصله ۳۴٫۸ امتیاز بود.
- برچسب‌گذاری انسانی نشان داد بزرگ‌ترین دسته‌ی اطلاعات گم‌شده، چیزهایی‌اند که در گزارش اسم برده شده‌اند ولی بدون جزئیات کافی.
- خروجی کامل ترمینال بازیابی را به ۷۳٫۶ درصد رساند ولی هنوز از کانتکست کامل عقب بود. بازنویسی گزارش با آگاهی از کانتکست، با طول برابر، حدود ۸ امتیاز بهتر شد. این فاصله در هارنس‌های مختلف و با اجرای مستقل DeepSeek هم دیده شد.
محدودیت‌ها
نویسنده‌ها می‌گویند خط لوله‌ی اصلی برای استخراج، ساختن سؤال و نمره‌دهی از یک مدل (HY4-preview) استفاده می‌کند و ممکن است جزئیات دقیق اجرا، مثل اسم شناسه‌ها، را ترجیح دهد؛ برای همین بازبینی انسانی و یک زنجیره‌ی مستقل با DeepSeek هم اجرا کردند.
چرا مهم است
هر کسی که کار را به ایجنت کدنویسی می‌سپارد و فقط خلاصه‌ی نهایی را می‌خواند، باید بداند تقریباً نصف وضعیت واقعی کار در آن خلاصه نیست. «قابل بازسازی بودن وضعیت از روی گزارش» باید یک معیار ارزیابی جدا باشد.