Safe, Persistent, and Evolving Agent Harness for Understanding Partially Observable Worlds

مسئله

ایجنت‌های مدل زبانی ابزارها را روان فرامی‌خوانند، اما گردش‌کارهای سازمانی بیش از انتخاب ابزار درست می‌خواهند: اقدام‌ها باید دقیقاً با سیاست‌های سازمان سازگار باشند، بازخورد ابزار اغلب اثرهای جانبی پنهان دارد و تسک‌های طولانی به پیگیری پایدار وضعیت چند رکورد نیاز دارند. مثلاً بستن یک تیکت ممکن است بی‌صدا یک قاعده‌ی پنهان را فعال کند که رکورد دیگری را تغییر می‌دهد.

روش

هارنس چندایجنتی E-Ledger یک لایه‌ی تأیید کد دارد که هر اقدام پیشنهادی را پیش از اجرا با سیاست می‌سنجد، و یک «دفتر جهان» از قاعده‌های پنهان تأییدشده همراه وضعیت پویای مستند به شواهد نگه می‌دارد. چون قاعده‌های پنهان از پیش معلوم نیستند، چارچوب WorldAbduct مسیرهای اجرا را از چهار دید بررسی می‌کند: سازگاری وضعیت، فاصله‌ی جهان و مشاهده، درستی دروازه‌ی سیاست و قضاوت هدف. سپس قاعده‌های پنهان را فرض می‌کند و با تعامل‌های هدفمند تأیید می‌کند و بعد به دفتر می‌افزاید.

یافته‌ها

• روی بنچمارک سازمانی World of Workflows، تکمیل ایمن تسک را با چهار مدل پایه بهتر کرد و ۵ تا ۱۵ واحد درصد از قوی‌ترین پایه‌ی تکاملی جلوتر بود.
• آزمایش‌ها در ScienceWorld و DiscoveryWorld نشان داد تکامل استنتاجی هارنس به محیط‌های علمی هم منتقل می‌شود.

محدودیت‌ها

نویسنده‌ها می‌گویند چون تکامل و ارزیابی در محیط‌های تعاملی گران است، برای هر پیکربندی فقط نتیجه‌ی یک اجرا گزارش شده است.