Finding Blind Spots in AppWorld and WorkArena Task Verifiers

مسئله

تأییدکننده‌های اجرامحور تصمیم می‌گیرند آیا ایجنت موفق شده است. اگر تأییدکننده اثر غلطی را قبول کند، امتیاز بنچمارک و پاداش آموزش هر دو گمراه‌کننده می‌شوند.

روش

نویسنده تأییدکننده‌های منتشرشده‌ی AppWorld و WorkArena را با تست‌های جهش آگاه از کد منبع ممیزی کرد، بدون این‌که هیچ بررسی‌کننده‌ی منتشرشده‌ای را تغییر دهد. اثرهای غلط ساخته شد و با بازخوانی مستقل وضعیت تأیید شد.

یافته‌ها

• در AppWorld، تکرار یک نوشتن غیرخودتوان یک رکورد اضافه می‌سازد در حالی که همه‌ی مقدارهای بررسی‌شده حفظ می‌شوند؛ تأییدکننده هر سه نسخه‌ی تسک از دو مولد از پنج مولد واجد شرایط را پذیرفت، یعنی ۶ اثر از ۱۵ اثر ساخته‌شده، و یک وصله‌ی بررسی تعداد روی نسخه‌ی کپی بررسی‌کننده هر شش مورد را رد کرد.
• در WorkArena، از ۲۳ نامزد فیلد اضافه، بازخوانی مستقل جدول در ۲۱ مورد مقدار غیرپیش‌فرض ذخیره‌شده را تأیید کرد در حالی که هر ۲۳ مورد قبول شدند؛ این ۲۱ اثر غلط سه قالب فرم را پوشش می‌دهند.
• در شبکه‌های جابه‌جایی نیت، بررسی‌کننده‌ها روی ۲۶۸۹ اجرای خارج از قطر هیچ قبولی ندادند.

محدودیت‌ها

نویسنده می‌گوید این موارد انتخابی‌اند و نرخ جمعیتی را برآورد نمی‌کنند، فقط دو مجموعه و دو طراحی بررسی‌کننده ممیزی شده‌اند و برای این شمارش‌ها بازه‌ی اطمینان گزارش نشده است.