Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress

مسئله

بنچمارک‌های ترمینال طولانی می‌سنجند آیا ایجنت می‌تواند در گردش‌کارهای طولانی پیشرفت پیوسته داشته باشد، نه فقط این‌که وضعیت نهایی‌اش یک بررسی دودویی را پاس کند. نسخه‌ی اول نشان داد ایجنت‌ها حتی وقتی تمام نمی‌کنند پیشرفت جزئی معنادار دارند، اما ساخت دستی تسک‌های طولانی گران است و بیشتر بنچمارک‌ها فقط نتیجه‌ی نهایی را امتیاز می‌دهند.

روش

بنچمارک LHTB ۲٫۰ همه‌ی ۴۶ تسک اصلی را با اصلاح ایرادهای تسک و زیرساخت ارزیابی نگه می‌دارد و ۳۱ تسک تازه اضافه می‌کند: ۷۷ تسک در ۱۳ حوزه و هشت نوع تسک. تسک‌های تازه با یک خط لوله‌ی بازسازی ساخته می‌شوند: از یک محصول علمی یا مهندسی کارا شروع می‌شود، یک پیاده‌سازی مرجع پارامتری چند سناریو می‌سازد، شش سناریو به عنوان شاهد رفتاری نشان داده و سه سناریو برای ارزیابی کنار گذاشته می‌شود، و نردبان‌های پیشرفت متراکم به پیشرفت جزئی پاداش می‌دهند و جلوی حفظ کردن خروجی‌های عمومی را می‌گیرند. افق ارزیابی از ۹۰ دقیقه به سه ساعت رسید و هر ۳۰ دقیقه یک نقطه‌ی بررسی ثبت می‌شود.

یافته‌ها

• در ۱۱۴۵ اجرای امتیازدار از ۱۵ مدل پیشرو، GPT-6-astra با میانگین پاداش متراکم ۰٫۶۹ و ۳۷ تسک با پاداش دست‌کم ۰٫۹۵ اول شد و GPT-5.6-sol با ۰٫۶۷ و ۳۲ تسک دوم.
• روی ۳۰ تسک بازسازی، میانگین امتیاز دودویی ۰٫۲۲۱ بود در حالی که امتیاز نردبانی ۰٫۶۵۳ بود؛ پس ارزیابی فقط بر اساس نتیجه بخش بزرگی از پیشرفت میانی را دور می‌ریزد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ حتی قوی‌ترین مدل فقط ۴۸٫۱ درصد تسک‌ها را با آستانه‌ی ۰٫۹۵ حل می‌کند، پس بنچمارک هنوز جای پیشرفت زیادی دارد.