CoDA: Co-Evolution of Data Engines and Action Policies

مسئله

شبیه‌سازی مولد می‌تواند خودکار برای ربات محیط تمرین بسازد، اما محیطی که از نظر فیزیکی درست است لزوماً برای آموزش مفید نیست. مشکل این است که محیط‌هایی را پیدا کنیم که دقیقاً شکست‌های فعلی ربات را هدف بگیرند، و نظارتی بدهیم که کمکش کند از آن شکست‌ها رد شود.

روش

در چارچوب CoDA، موتور ساخت داده‌ی شبیه‌سازی و سیاست حرکتی ربات از راه یک حافظه‌ی مشترک با هم تکامل پیدا می‌کنند. این حافظه ساخت محیط‌ها، شکست‌های ربات و پیشرفت یادگیری را نگه می‌دارد. یک منتقد بینایی-زبانی شکست‌ها را تشخیص می‌دهد؛ تشخیص‌های تأییدشده به برنامه‌هایی تبدیل می‌شوند که همان سختی را دوباره بسازند و برنامه‌هایی که کمک کنند ربات از آن رد شود. روش Text2potential هم این تشخیص‌ها را به پاداش‌های مرحله‌ای متراکم تبدیل می‌کند بی آن‌که بهترین رفتار تسک عوض شود.

یافته‌ها

• در چهار خانواده‌ی تسک دست‌کاری اشیا، موفقیت در وضعیت‌های بیرون از توزیع آموزش از ۵٫۳ درصد (بعد از آموزش نظارت‌شده) به ۲۷٫۶ درصد رسید؛ با همان بودجه‌ی ساخت داده، ۹٫۵ واحد درصد از قوی‌ترین روش مقایسه بهتر بود.
• روی بنچمارک LIBERO-Pro، پانزده دور ساخت داده و آموزش، موفقیت را وقتی جای اشیا عوض می‌شد از ۲۵ به ۸۴ درصد و وقتی دستور متنی عوض می‌شد از ۱ به ۷۶ درصد رساند.

محدودیت‌ها

نویسنده‌ها می‌گویند CoDA برای ساخت صحنه، تشخیص شکست و ساخت پاداش به مدل‌های پایه تکیه دارد و خطای این مدل‌ها در فهم اشیا و فیزیک به محیط‌ها و سیگنال‌های آموزش راه پیدا می‌کند. نتایج هم ممکن است با عوض شدن نسخه‌ی این مدل‌ها تغییر کند.