Learning Self-Orchestration in Decentralized Agent Swarms

مسئله

توانایی یک گروه ایجنت هم به اعضایش بستگی دارد و هم به این‌که چطور هماهنگ می‌شوند. اما سیستم‌های چندایجنتی موجود معمولاً ایجنت‌ها را در یک ساختار هماهنگی ثابت آموزش می‌دهند؛ مثلاً نقش‌ها از قبل تعیین شده‌اند. پس یادگیری مهارت‌های فردی از سازمان‌دهی رفتار جمعی جدا می‌ماند.

روش

روش MPT (پس‌آموزش مبتنی بر بازار) سیاست عمل و خودسازمان‌دهی را با هم یاد می‌دهد. هر ایجنت با یک «پیشنهاد قیمت» اعلام می‌کند چقدر می‌خواهد در این قدم شرکت کند. این پیشنهادها تعیین می‌کنند چه کسی عمل کند و نتیجه‌ی جمعی چطور به عنوان اعتبار آموزشی بین افراد تقسیم شود. چون هم عمل و هم پیشنهاد دادن یاد گرفته می‌شود، مهارت‌ها و الگوی مشارکت با هم تنظیم می‌شوند، بدون ایجنت هماهنگ‌کننده‌ی مرکزی.

یافته‌ها

• در سه حوزه‌ی ساختن اشیا در محیط شبیه‌سازی، ناوبری ربات و پژوهش عمیق، از پس‌آموزش یک مدل واحد بهتر بود و الگوی مشارکت ایجنت‌ها در طول یادگیری تغییر کرد.
• با سیاست‌های عمل یکسان، خودسازمان‌دهیِ یادگرفته از روش‌های هماهنگی جایگزین بهتر بود، و پیشنهادهای یادگرفته سیگنال آموزشی بهتری برای عمل دادند.
• گروه‌های آموزش‌دیده سریع‌تر با تسک‌های مرتبط سازگار شدند، با جمعیت بزرگ‌تر بهتر کار کردند و وقتی بعضی ایجنت‌ها حذف شدند افت کمتری داشتند.

محدودیت‌ها

نویسنده‌ها می‌گویند روش به پاداش‌های بیرونی قابل اعتماد نیاز دارد و برای کارهایی که نتیجه‌شان سلیقه‌ای است آزموده نشده. به‌روز کردن پیشنهادها هم به اجرای دوباره از همان وضعیت محیط نیاز دارد، پس برای محیط‌هایی که کارها برگشت‌ناپذیرند دشوار است.