Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

مسئله

وقتی شواهد بازیابی‌شده با باور قبلی ایجنت تناقض دارد، آیا پاسخش را اصلاح می‌کند، عدم اطمینان را اعلام می‌کند یا روی نتیجه‌ی غلط پافشاری می‌کند؟ ارزیابی‌های موجود عمدتاً روی موفقیت تسک تمرکز دارند و چیز کمی درباره‌ی نحوه‌ی برخورد با چنین تعارض‌هایی می‌گویند.

روش

نویسنده‌ها «فروتنی معرفتی» را تعریف کردند: تمایل ایجنت به تشخیص، عمل بر اساس و اعلام عدم اطمینان در حین اجرا. آن را با سه بُعد رفتاری در سطح مسیر سنجیدند: تشخیص، حل و ارجاع. با تعارض دانش، یعنی وقتی دانش درونی مدل با شواهد یا دو منبع با هم تناقض دارند، دو تنظیم تعارض کنترل‌شده و تعارض طبیعی حین اجرای چندمرحله‌ای را ارزیابی کردند، هرکدام با کنترل بدون تعارض.

یافته‌ها

• در ارزیابی چهار ایجنت، دقت بالاتر لزوماً به فروتنی معرفتی بیشتر نمی‌انجامد: بعضی پیکربندی‌های پردقت تعارض را حین اجرا تشخیص می‌دهند اما عدم اطمینان حل‌نشده را در پاسخ نهایی غلطشان اعلام نمی‌کنند.
• ایجنت‌ها اغلب تعارض را در گام‌های اول تشخیص می‌دهند اما در گام‌های بعدی آن را نگه نمی‌دارند یا حل نمی‌کنند.
• مداخله‌های سطح مدل می‌توانند فروتنی را بهتر کنند، اما اغلب به بهای دقت تسک.

محدودیت‌ها

نویسنده‌ها می‌گویند مدل پایه و هارنس در هر پیکربندی به هم گره خورده‌اند و به دلیل بودجه همه‌ی ترکیب‌ها اجرا نشد، پس سهم علّی هرکدام جدا نمی‌شود؛ آزمایش‌ها بیش از ۳۰۰۰ دلار هزینه داشتند.