Agentic Self-Awareness: Aligning Knowing, Acting, and Holding

مسئله

ایجنت‌های پیشرو در محیط‌هایی کار می‌کنند که تسکی که حل‌شدنی به نظر می‌رسد، ممکن است پیش‌نیازی نداشته باشد، خواسته‌های متناقض داشته باشد یا مانعش فقط وسط اجرا معلوم شود؛ مثلاً فایلی که باید ویرایش شود اصلاً وجود ندارد. ایجنت باید فرق بگذارد بین «این تسک شدنی نیست» و «من نمی‌توانم حلش کنم».

روش

نویسنده‌ها «خودآگاهی ایجنتی» را هماهنگی سه چیز تعریف می‌کنند: قضاوت درست درباره‌ی شدنی بودن تسک (دانستن)، رفتار متناسب (عمل کردن)، و واکنش درست وقتی از ایجنت خواسته می‌شود تجدید نظر کند (ماندن). در Terminal-Bench ۲٫۱ و حوزه‌ی خرده‌فروشی τ²-bench جفت‌هایی از تسک شدنی و مسدود ساختند و یک معیار چهارسطحی طراحی کردند که «تشخیص مانع» را از «انجام عمل تأییدشده‌ی تعویق به دلیل درست» جدا می‌کند. آزمون‌های جدا هم باور اعلام‌شده و واکنش به یک چالش را می‌سنجند.

یافته‌ها

• در Terminal-Bench، تشخیص مانع به ۸۴٫۴ درصد رسید، اما خودآگاهی سخت‌گیرانه (تشخیص به‌علاوه‌ی عمل درست) فقط ۴۰٫۶ درصد بود.
• جست‌وجوی هارنس بدون تغییر وزن مدل، خودآگاهی سخت‌گیرانه را روی تسک‌های جست‌وجو از ۴۵٫۳ به ۹۳٫۸ درصد رساند؛ اما انتخاب فقط برای امتناع می‌تواند موفقیت را روی تسک‌های شدنی پایین بیاورد.
• جست‌وجوهایی با هدف مشترک، هم خودآگاهی روی تسک‌های مسدود و هم حل تسک‌های شدنی را روی مجموعه‌ی جست‌وجوی خودشان بهتر کردند.

محدودیت‌ها

نویسنده‌ها می‌گویند بهبود روی تسک‌های کنار گذاشته‌شده‌ی خرده‌فروشی محدود است و انتقال به تسک‌های مسدود تازه در Terminal-Bench اندازه‌گیری نشده است؛ بخش بزرگی از بهبود روی همان تسک‌های جست‌وجو است.