RoleWorld: Knowledge Transfer in World Modeling with Functional Role Abstractions

مسئله

مدل‌های جهان به ایجنت‌های مدل زبانی کمک می‌کنند اثر اقدام‌ها را پیش‌بینی کنند. برای تعمیم، این مدل‌ها باید به محیط‌های تازه با ساختار تعامل و پویایی مشابه منتقل شوند. روش‌های اخیر پویایی جهان را به شکل قاعده‌های نمادین یا برنامه‌های اجرایی نشان می‌دهند، اما دانش را حول اشیای خاص هر محیط سازمان می‌دهند؛ مثلاً قاعده‌ی «کلید در را باز می‌کند» در محیطی که کارت مغناطیسی همان نقش را دارد کمکی نمی‌کند.

روش

روش RoleWorld با نمونه‌های اولیه‌ی قابل استفاده‌ی دوباره و مقادیر پارامتر خاص هر محیط، به عنوان «نقش‌های کارکردی»، نشان می‌دهد اشیا در تعامل چطور رفتار می‌کنند. از مسیرهای تعامل، یک مدل معلم نمونه‌های اولیه‌ی نقش و قاعده‌های گذار اجرایی روی نمونه‌های نقش را استخراج می‌کند، به همراه یک اسکیل که به مدل عامل یاد می‌دهد از اطلاعات نقش استفاده کند. در جهان هدف، بدون معلم، عامل با این اسکیل و برآورد فعلی نقش‌ها و پارامترها کار می‌کند و وقتی عدم اطمینانش روی تصمیم اثر دارد، فرضیه‌ی نقش را با تعامل می‌آزماید؛ بازخورد هر اقدام نقش‌ها و پارامترها را آنلاین اصلاح می‌کند، بدون به‌روزرسانی وزن‌های مدل.

یافته‌ها

• روی بنچمارک MARS، تعمیم مقاومی بین محیط‌هایی با رفتار اشیای به‌شدت تغییریافته نشان داد.
• با هر دو مدل پایه، انتقال از محیط پیش‌فرض پاداش میانگین بالاتری داد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ قاعده‌های گذار در محیط هدف ثابت می‌مانند و ارزیابی روی یک بنچمارک است.