AgentGarten: Code Worlds for Evolving Agents

مسئله

جهان‌های مجازی تعاملی اجازه می‌دهند ایجنت‌ها با کاوش یاد بگیرند، اما آنچه ایجنت یاد می‌گیرد به محیط تمرینش محدود است. محیط باید وفادار باشد، یعنی وضعیت، قاعده و پویایی سازگار داشته باشد، و واقع‌گرا باشد، یعنی مشاهده‌ها از توزیع بصری دنیای واقعی پیروی کنند. رسیدن به هر دو در جهان‌های متنوع هنوز گلوگاه است.

روش

چارچوب AgentGarten شبیه‌سازها و موتورهای بازی را با یک رندرکننده‌ی عصبی مشترک جفت می‌کند: پشتیبان‌های شبیه‌سازی وضعیت پایدار جهان را نگه می‌دارند و قاعده‌های تعریف‌شده در کد را اجرا می‌کنند، و رندرکننده از شرط‌های ساختاری مشاهده‌ی بصری می‌سازد. برای ساخت رندرکننده یک مدل ویدیویی از پیش آموزش‌دیده با شرط‌های هندسی تطبیق داده شد و با روش پیشنهادی Adversarial Forcing تقطیر و برای تعامل بلادرنگ بهینه شد. ایجنت‌ها جهان را از طریق مشاهده‌ی بصری درک می‌کنند و هر دور تجربه را به دفترچه‌های راهنما تقطیر می‌کنند که ایجنت‌های بعدی به ارث می‌برند و اصلاح می‌کنند.

یافته‌ها

• ایجنت‌ها فقط با ۴ دور یاد گرفتند، در برابر میلیون‌ها گام برای یک همتای متعارف یادگیری تقویتی.
• چون جهان‌های تازه را می‌شود به شکل کد نوشت و با همان رابط رندر کرد، محیط‌ها می‌توانند هم در تعداد و هم در سختی همراه ایجنت‌ها رشد کنند.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ این یک گزارش فنی است و مقایسه‌ی کارایی یادگیری با یادگیری تقویتی متعارف در واحدهای متفاوت، یعنی دور در برابر گام، بیان شده است.