Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops

مسئله

مدل‌های «سیستم یک» اقدام بعدی ایجنت را با امتیاز دادن به مجموعه‌ای از گزینه‌ها در یک گذر انتخاب می‌کنند. این آن‌ها را سریع و ارزان می‌کند، اما وقتی اشتباه می‌کنند چیزی برای بررسی نیست: آیا مدل آنچه ایجنت دیده را بد خوانده، یا درست خوانده و باز هم اشتباه عمل کرده است؟

روش

نویسنده‌ها این سؤال را رفتاری پاسخ دادند. روی یک بنچمارک ثابت از وضعیت‌های تصمیم ایجنت از محیط‌های شبیه‌سازی‌شده، سیاست‌های خدمات مشتری، استفاده از ابزار، مرور وب و کدنویسی، هر سؤال اقدام بعدی را با پرسش‌های واقعی درباره‌ی همان وضعیت جفت کردند که هر کدام مستقل پاسخ داده می‌شوند. هفده سیستم سریع و یک مدل استدلالی ارزیابی شدند.

یافته‌ها

• بیشتر اقدام‌های غلط بعد از خواندن درست می‌آیند، و هرچه سیستم دقیق‌تر باشد، سهم بیشتری از خطاهایش از این نوع است.
• این خطاها نویز نیستند و در سیستم‌های همه‌جور روی همان وضعیت‌ها جمع می‌شوند.
• جایی که واقعیت‌ها اقدام را دقیقاً تعیین می‌کنند، مدل‌هایی که همه را درست می‌خوانند در ترکیبشان شکست می‌خورند و ترکیب پاسخ‌های خودشان با کد خطا را ترمیم می‌کند؛ در وضعیت‌های واقعی، آنچه کم است اغلب یک واقعیت نیست، بلکه زیرهدف بعدی است.

محدودیت‌ها

نویسنده‌ها می‌گویند شواهد فقط رفتاری است و نشان نمی‌دهد کدام محاسبه‌ی درونی اقدام را ساخته؛ پاسخ درست به پرسش ثابت نمی‌کند مدل از آن واقعیت استفاده کرده است. در وضعیت‌های طبیعی پرسش‌ها برای تصمیم کافی نیستند. نسخه‌ی اول است و ارزیابی مدل‌های متن‌باز بیشتر ادامه دارد.