$τ$-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions

مسئله

در کارهای طولانی با فراخوانی ابزار، ایجنت‌ها فقط به خاطر خطای ابزار شکست نمی‌خورند، بلکه گاهی به خاطر تعامل ناکارآمد با کاربر. بنچمارک‌های موجود بیشتر کاربر همکار و آرامی را فرض می‌کنند، پس اثر تغییرات احساسی کاربر، مثلاً بی‌حوصلگی یا عصبانیت، بر قابلیت اطمینان ایجنت کمتر بررسی شده است.

روش

بنچمارک τ-Emotion-Bench در ده حوزه، ایجنت‌های ابزاری را در تعامل‌هایی با کاربرانی با احساس کنترل‌شده می‌سنجد، در حالی که هدف اصلی تسک ثابت می‌ماند. برای ساخت بنچمارک و داده‌ی آموزش، خط لوله‌ی Tracer تسک‌های معتبر و سازگار با قوانین می‌سازد و مسیرها را در یک هارنس ایجنت-کاربر-محیط جمع می‌کند. چون کاربر ناراضی می‌تواند تعامل ناکارآمد را تمام کند، مسیرهایی که بیش از حد به کاربر وابسته‌اند کنار می‌روند و استفاده‌ی مؤثر از ابزار ترجیح داده می‌شود.

یافته‌ها

• با دو شبیه‌ساز کاربر، ایجنت‌های پیشرو هنوز قابل اعتماد نبودند و فاصله‌ی زیادی بین موفقیت میانگین و موفقیت پایدار در تکرارها دیده شد.
• داده‌ی ساخته‌شده با Tracer مدل‌های Qwen3 را در همه‌ی اندازه‌ها بهتر کرد، به حوزه‌های دیده‌نشده تعمیم پیدا کرد و به τ-Bench و τ-Trait هم منتقل شد.
• موفقیت بیشتر با تعادل بهتر بین اجرای ابزار و پرسیدن سؤال لازم از کاربر همراه بود.

محدودیت‌ها

نویسنده‌ها می‌گویند داده‌ی Tracer فقط با آموزش نظارت‌شده آزموده شده و اثرش در یادگیری تقویتی بررسی نشده است. آزمایش‌ها هم فقط روی ایجنت‌های ابزاری است، نه ایجنت‌های کدنویسی یا وب.