Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training

مسئله

یک اجرای ناموفق ایجنت بیش از پاداش نهایی‌اش اطلاعات دارد: مشاهده‌های در دسترس، کنش‌های انتخاب‌شده و پاسخ محیط. استفاده‌ی مجدد از این تجربه برای یادگیری نیاز دارد تصمیمی برای بازنگری شناسایی و یک جایگزین مشخص آزموده شود.

روش

نویسنده‌ها مجموعه‌داده‌ی Agent Error Dataset را با ۵۰٬۲۲۸ جفت خطا و تشخیص از ۹٬۹۶۱ تسک منبع در ۳۳ محیط، ۱۹ خانواده‌ی هارنس و ۲۳ مدل سیاست در سیستم‌های ایجنتی متنی ساختند و ردپاهای منبع و فراداده‌ی اجرا را نگه داشتند. یک خط‌لوله‌ی پنج‌مرحله‌ای شکست‌های طبیعی را جمع، تشخیص و اصلاح پیشنهادی تولید و آن‌ها را با شواهد ثبت‌شده بررسی می‌کند؛ جایی که بازپخش ممکن است، اصلاح‌ها با تلاش دوباره‌ی کنش اصلی از همان نقطه مقایسه می‌شوند.

یافته‌ها

• در ۳٬۰۶۲ جفت بازپخش هم‌تراز، اولین اصلاح پیشنهادی نرخ پاس تأییدکننده را از ۱۸٫۴ به ۵۱٫۱ درصد رساند، یعنی ۳۲٫۷ واحد درصد بهبود.
• تنظیم دقیق روی ۱٬۶۵۶ تسک منبع، توافق گام دقیق Qwen3-8B با برچسب‌های معلم داخلی را از ۴۷٫۲ به ۶۳٫۶ درصد رساند، در حالی که قوی‌ترین مرجع پرامپتی ۵۴٫۷ درصد بود.
• در یک مقایسه‌ی تک‌بذری، آموزش تعمیر فقط کنش روی WebShop-lite ۶٫۶۷ واحد درصد بهتر از آموزش فقط روی موفقیت بود.

محدودیت‌ها

نویسنده‌ها می‌گویند اندازه‌ی مجموعه جفت‌های خطا و تشخیص را می‌شمارد نه اجراهای مستقل یا نمونه‌های آماده‌ی آموزش، انتقال به بنچمارک عمومی به پروتکل وابسته است و نتایج آموزش کنشگر مختلط است.