مقاله‌ی arXiv:2610.13022 · نگه‌داشته برای بعد
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
حدس نزن، بپرس: سنجش روشن کردن تعاملی نیازها پیش از کدنویسی در سطح ریپو
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Mingyu Chen, Zhiqing Zhong, Manyi Wang, Linxi Liang, Rouyu Chen, Pinjia He
- نهاد نویسنده‌ها
- The Chinese University of Hong Kong, Shenzhen
خلاصه‌ی فارسی
مسئله
با توانا شدن مدل‌های زبانی در پیاده‌سازی نرم‌افزار، گلوگاه تازه‌ای پیدا شده: آیا واقعاً می‌فهمند کاربر چه می‌خواهد؟ کاربران اغلب با قصد مبهم شروع می‌کنند، مثلاً «یک بازی ساده‌ی پازل بساز»، و نیازهای مهم باید با تعامل روشن شوند. در توسعه‌ی سطح ریپو، سوءتفاهم منتشر می‌شود و دوباره‌کاری گرانی می‌سازد. بنچمارک‌های موجود پیاده‌سازی را از مشخصات کامل یا درخواست ناقص می‌سنجند و روشن کردن نیاز پیش از کدنویسی را نادیده می‌گیرند.
روش
بنچمارک ReqClarifyBench شامل ۳۴۱ تسک در توسعه‌ی بازی، مینی‌اپ و وب است که هر کدام یک قصد مبهم کاربر، یک سند نیازمندی تأییدشده‌ی انسانی و ابزار ارزیابی کد دارد. شبیه‌سازهای کاربر مبتنی بر مدل زبانی با پرسوناهای متنوع برگرفته از گفت‌وگوهای واقعی به کار رفتند و شش مدل از نظر اثربخشی روشن‌سازی و کیفیت سند نیازمندی ارزیابی شدند.
یافته‌ها
- اثربخشی بیشتر در روشن کردن نیاز لزوماً به کیفیت بالاتر سند نیازمندی تبدیل نمی‌شود.
- کارایی بین پرسوناهای کاربر خیلی متفاوت است.
- هارنس‌های ایجنت کدنویسی کیفیت سند نیازمندی را نسبت به مدل پایه‌شان بهتر نکردند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ کاربران شبیه‌سازی‌شده‌اند و تسک‌ها به سه نوع توسعه محدودند.
چرا مهم است
بسیاری از شکست‌های ایجنت کدنویسی از درست نفهمیدن خواسته‌ی کاربر می‌آید، نه از کد بد. این کار نشان می‌دهد پرسیدن سؤال درست پیش از شروع، مهارتی جدا و هنوز ضعیف است.