DAEDALUS: Bootstrapping Agent Memory from Self-Generated Tasks

مسئله

ایجنت‌ها اغلب دانش عملیاتی لازم برای عمل قابل اعتماد در محیط تازه را ندارند و باید رفتار خاص ابزارها یا قراردادهای محیط را خودشان کشف کنند. بدون حافظه‌ی تلاش‌های قبلی، همان اشتباه‌ها را در تسک‌های مختلف تکرار می‌کنند. سیستم‌های ایجنتی معمولاً به راهنمای دست‌نوشته‌ی انسانی یا حافظه‌ی رویه‌ای ساخته‌شده از تسک‌های آموزشی و داور متکی‌اند که هر دو دانش قبلی از محیط می‌خواهند.

روش

روش DAEDALUS دو ایجنت را جفت می‌کند: یک کاوشگر که با محیط تعامل می‌کند تا تسک‌های چالش‌برانگیز اما قابل حل بسازد، و یک حل‌کننده که آن‌ها را امتحان می‌کند. از هر شکست حل‌کننده یک قاعده‌ی سرانگشتی استخراج می‌شود و فقط وقتی پذیرفته می‌شود که حل‌کننده با آن قاعده در کانتکست بارها موفق شود. این نتیجه‌ها به کاوشگر هم بازخورد می‌دهند تا سختی تسک‌ها را تنظیم کند. قاعده‌های پذیرفته‌شده در یک بانک حافظه برای زمان آزمون تثبیت می‌شوند.

یافته‌ها

• در AppWorld، τ²-bench و AutomationBench، میانگین موفقیت را تا ۱۵٫۹ امتیاز و معیار pass^۵ را تا ۲٫۲ برابر نسبت به پایه‌ی بدون حافظه بهتر کرد و با روش‌هایی که از تسک آموزشی استفاده می‌کنند رقابتی بود، با هزینه‌ی استنتاج کمتر از بیشترشان.
• بهبود با بودجه‌ی کاوش کوچک هم ظاهر شد و قاعده‌ها به ایجنت‌های خانواده‌های مدل دیگر هم کمک کردند؛ آزمایش‌های حذفی نشان داد ردپاهای حل‌کننده اطلاعات کلیدی را می‌دهند.
• تسک‌های تولیدشده می‌توانند جانشینی برای تسک‌های بنچمارک در رتبه‌بندی مدل‌ها باشند.

محدودیت‌ها

نویسنده‌ها می‌گویند بانک حافظه یک‌بار پیش از استقرار و از یک محیط ساخته می‌شود و در زمان آزمون منجمد است، و تنها سیگنال موفقیت یک داور مدل زبانی است که شرط‌های موفقیت خودنوشته را بررسی می‌کند.