مقاله‌ی arXiv:2610.11559 · در صف خبرنامه
SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
سفر مهندسی نرم‌افزار: ارزیابی واقع‌گرایانه‌تر دستیارهای کدنویسی با تعامل طولانی و چندنوبتی
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Hexuan Deng, Yue Wang, Wenyu Jiang, Cheng Yang, Haolin Yang, Zhaohua Zhang, Chenchen Zhao, Beiduo Chen, Muxi Chen, Sa Zhu, Geyuan Zhu, Jianhuan Zhuo, Qiuyong Xiao, Tianwen Jiang, Jihong Zhang, Xuebo Liu
- نهاد نویسنده‌ها
- Tencent Hy AI Data; Beijing Zhongguancun Academy
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
دستیارهای کدنویسی مثل Claude Code و Codex کاربرد اصلی ایجنت‌ها شده‌اند، اما بنچمارک‌ها از نظر طول تسک و طول تعامل از استفاده‌ی واقعی دورند. در واقعیت دستیار باید زنجیره‌ی طولانی کار توسعه را در مخزنی که پیوسته تغییر می‌کند انجام دهد و بارها نیازها را روشن و پیاده‌سازی را تطبیق دهد.
روش
بنچمارک SWE-Journey برای شکاف طول تسک، یک خط لوله‌ی ساخت ضعیف به قوی دارد که تسک‌های کدنویسی طولانی را خودکار می‌سازد. برای شکاف تعامل، چهار پرسونای نماینده‌ی کاربر از داده‌ی تعامل واقعی استخراج شد و یک ایجنت شبیه‌ساز کاربر برای بازتولید تعامل‌های واقعی ساخته شد.
یافته‌ها
- مدل‌ها به‌طور میانگین با پرسونای معمار نرم‌افزار بیش از ۷۵ درصد تست‌های قابلیت درخواستی را پاس می‌کنند، اما با کاربران غیربرنامه‌نویس کمتر از ۲۵ درصد.
- تحلیل این فاصله سه توانایی کلیدی حین تعامل را نشان داد: درست پرسیدن، درست پیدا کردن و درست رفع کردن؛ مثلاً مدل‌های کوچک وقتی اشتباه می‌کنند روی همان اشتباه پافشاری می‌کنند.
محدودیت‌ها
نویسنده‌ها می‌گویند مقیاس بنچمارک به دلیل هزینه‌ی بالای ساخت و ارزیابی محدود است، چون ساخت تسک و آزمایش‌های اصلی ۱۶ هزار دلار هزینه داشت، و شبیه‌ساز کاربر فقط تقریبی از کاربر واقعی است.
چرا مهم است
وعده‌ی دستیارهای کدنویسی این است که غیربرنامه‌نویس‌ها هم نرم‌افزار بسازند. این بنچمارک نشان می‌دهد این وعده هنوز محقق نشده و دقیقاً کجا کار لنگ می‌زند.