ARIA: Runtime Inspection and Amendment for Multi-Agent Systems

مسئله

در سیستم‌های چندایجنتی، یک اشتباه محلی وقتی ایجنت‌های دیگر روی آن کار می‌کنند پخش می‌شود و یک خطای قابل اصلاح به شکست کل تسک می‌رسد. تشخیص خطا بعد از پایان اجرا یا اجرای دوباره و تکراری برای پیدا کردن اصلاح، سیاستی برای دخالت در حین اجرا نمی‌دهد.

روش

ایده‌ی ARIA این است که اصلاح‌هایی که با اجرا تأیید شده‌اند به داده‌ی آموزشی تبدیل شوند، تا مدل یادگرفته بتواند در حین اجرا دخالت کند بی آن‌که مدام گزینه‌ها را امتحان کند. نویسنده‌ها بیش از ۲۴ هزار مسیر موفق و ناموفق از چهار فریم‌ورک چندایجنتی، شش بنچمارک و هشت مدل جمع کردند و از آن‌ها دیتاست ARIA را ساختند: ۳۹۵۳ جفت مسیر شکست‌خورده و اصلاح تأییدشده، که هر کدام می‌گوید چه چیزی خراب شد، کجا باید دخالت کرد و اجرا چطور باید ادامه پیدا کند. یک مدل فشرده روی این داده آموزش دید.

یافته‌ها

• به گفته‌ی نویسنده‌ها این اولین دیتاست بزرگی است که مسیرهای شکست‌خورده‌ی چندایجنتی را با اصلاح‌های تأییدشده با اجرا جفت می‌کند.
• مدل آموزش‌دیده هم در اصلاح بعد از اجرا و هم در اصلاح حین اجرا عملکرد قوی داشت.
• به فریم‌ورک‌ها و مدل‌های میزبانی که در آموزش نبودند تعمیم پیدا کرد.

محدودیت‌ها

چکیده عدد مشخصی برای عملکرد اصلاح گزارش نمی‌کند و نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند؛ روش فقط روی سیستم‌هایی کار می‌کند که مسیر اجرا را نشان می‌دهند و اجازه‌ی جایگزین کردن ادامه را می‌دهند.