AgentEval: Evidence-Bounded Assessment of Stateful Agents

مسئله

تمام شدن یک تسک به‌تنهایی نشان نمی‌دهد ایجنتی که وضعیت را تغییر می‌دهد (مثلاً سفارش ثبت می‌کند یا پول برمی‌گرداند) همه‌ی تعهداتش را انجام داده است. یک حکم ثبت‌شده هم تضمین نمی‌کند شواهد پشتش هنوز معتبر باشد؛ مثلاً ممکن است داده‌ای که ارزیابی بر آن تکیه کرده بعداً عوض شده باشد.

روش

سیستم AgentEval یک پرونده‌ی ارزیابی مقید به قرارداد می‌سازد که از اجرای ابزار، ثبت وضعیت و رویدادها، تأیید گزارش و نگهداری پرونده همراه کار می‌رود. این پرونده سه چیز را جدا نگه می‌دارد: ایجنت چه کرد، شواهد چه چیزی را ثابت می‌کند، و آیا نتیجه برای استفاده‌ی فعلی پشتیبانی می‌شود یا نه.

یافته‌ها

• در ۳۲ اجرا در دنیاهای ابزاری، بررسی‌های مستقل در هر ۳۰ اجرای کامل با هم توافق داشتند و تعهدهای انجام‌شده، نقض‌شده و حل‌نشده را از هم جدا کردند.
• دست‌کاری کنترل‌شده‌ی ۴۸ نمای شواهد، ۳۶ خطای اتصال را نشان داد که بررسی‌های مبتنی بر هش نمی‌دیدند.
• در یک مطالعه روی ۱۹۲ اجرای کنار گذاشته‌شده از یک بنچمارک عمومی، ده زیرهدف «مرجوعی» پیدا شد که با وجود شکست کل تسک کامل انجام شده بودند.

محدودیت‌ها

نویسنده می‌گوید مطالعه‌ی دنیاهای ابزاری فقط سه خانواده‌ی محدود را پوشش می‌دهد و مطالعه‌ی خرده‌فروشی فقط یک زیرهدف را روی یک تقسیم‌بندی خاص داده سنجیده است.