TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications

مسئله

ایجنت‌های کدنویسی برای ساختن پروژه‌های نرم‌افزاری بزرگ به کار می‌روند و بنچمارک‌های تولید کد هم تا سطح برنامه‌ی کامل بزرگ شده‌اند، اما بنچمارک‌های تولید تست هنوز به تابع‌های تکی یا رفع باگ محدودند. تولید مجموعه‌ی تست کامل برای نرم‌افزار پیچیده از صفر بررسی نشده است.

روش

بنچمارک TestSuiteBench شامل ۱۶۵ برنامه‌ی متن‌باز است که هر کدام مشخصات ساختاریافته و دقیق رفتار، پیاده‌سازی مرجع، مجموعه‌ی تست مرجع و به‌طور میانگین ۷۴ جهش‌یافته دارند. هر جهش‌یافته از یک نیاز مشخصات ساخته و طوری اصلاح شده که همان رفتار را جدا کند: ۷۳ درصد دقیقاً با یک تست مرجع کشته می‌شوند و به‌طور میانگین فقط با ۰٫۲ درصد بقیه‌ی تست‌ها.

یافته‌ها

• حتی ایجنت‌های کدنویسی پیشرو به امتیاز جهش زیر ۶۰ درصد رسیدند، با این‌که تست‌هایشان بیشتر معتبر بود و ۸۸ درصد روی پیاده‌سازی مرجع پاس می‌شدند.
• مجموعه‌های تولیدشده اغلب ترکیب ورودی‌های مرتبط را نداشتند و از مجموعه‌های مرجع کوچک‌تر بودند.
• در مقابل، پیاده‌سازی‌های تولیدشده برای همان مشخصات ۸۲ درصد تست‌های مرجع را پاس کردند؛ پس ایجنت‌ها نرم‌افزاری می‌سازند که نمی‌توانند تأییدش کنند.

محدودیت‌ها

نویسنده‌ها می‌گویند جهش‌یافته‌ها فقط نمونه‌ای از نیازها را هدف می‌گیرند، پس کمبود در نیازهای هدف‌نگرفته جریمه نمی‌شود؛ البته چون ایجنت نمی‌داند کدام هدف گرفته شده، فقط مجموعه‌ی کامل امتیاز بالا می‌گیرد.