From Evidence to Action: How Tool-Using Agents Fail

مسئله

ایجنت‌های ابزارمحور تغییرهای مهمی در وضعیت بیرونی می‌دهند، اما نتیجه‌ی درست تضمین نمی‌کند که اقدام‌هایشان با شواهدی که از قبل به دست آمده پشتیبانی شده باشد. مثلاً ایجنتی که بدون بررسی وابستگی‌ها یک سرور را خاموش می‌کند ممکن است شانسی درست عمل کرده باشد. سؤال این است که زنجیره‌ی شاهد تا اقدام کجا می‌شکند.

روش

بنچمارک SafeActBench شامل ۶۵۶ مورد در شش حوزه‌ی عملیاتی و پنج پروتکل است که از قضاوت ایستای اقدام و عدم اقدام پس از بررسی تا گردش‌کارهای تک‌اقدامی و چنداقدامی پیش می‌رود. یک «دفتر شواهد» مقید به منشأ و یک ارزیاب قطعی مسیر پیگیری می‌کنند چه اطلاعاتی به دست آمده، اقدام‌ها کِی رخ داده‌اند و آیا وابستگی‌های پایین‌دستی برآورده شده‌اند. ده پیکربندی مدل و هارنس ارزیابی شد.

یافته‌ها

• ارزیابی ایستای قوی اقدام می‌تواند کنار اجرای تعاملی خیلی ضعیف‌تر وجود داشته باشد.
• شکست‌ها اغلب پیش از اجرا شروع می‌شوند: ایجنت‌ها با بررسی ناقص متوقف می‌شوند یا پیش از به دست آمدن شواهد لازم عمل می‌کنند.
• پس از به دست آمدن شواهد، اجرای تک‌اقدامی معمولاً قابل اعتماد است، اما گردش‌کارهای چنداقدامی پیش‌نیازهای حل‌نشده و اجرای ناقص را هم آشکار می‌کنند.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده عدد مشخصی برای نرخ شکست‌ها نمی‌دهد.