World Observer: Joint Actor-Observer Generation for Persistent World Modeling

مسئله

مدل‌های ویدیویی جهان شبیه‌سازی می‌کنند محیط چطور با کنش‌های ایجنت تغییر می‌کند، اما بازیگرمحورند. وقتی یک شیء از دید بازیگر خارج می‌شود، شاهد مستقیم تحولش از دست می‌رود و هنگام بازگشت به دید، وضعیت و پویایی‌اش اغلب حفظ نمی‌شود؛ مثلاً ماشینی که از کادر بیرون رفته، وقتی دوباره دیده می‌شود در جای قبلی‌اش ایستاده است.

روش

روش World Observer مشاهده را از کنش جدا می‌کند: هم‌زمان یک بازیگر پرسپکتیو برای دید ایجنت و یک یا چند ناظر پانورامیک که مناطق انتخابی جهان را تماشا می‌کنند تولید می‌کند، تا اشیای خارج از دید بازیگر در یک ناظر به تحول بصری ادامه دهند. بازیگر و ناظرها با تاب دادن از یک منبع پانورامیک مشترک تناظر هندسی صریح دارند، و یک مخزن از مرجع‌های پرسپکتیو با وضوح بالا جزئیات ظاهری را هنگام بازگشت بازیابی می‌کند. ناظرها آزادانه در صحنه قرار می‌گیرند و با سیگنال کنترل هدایت می‌شوند.

یافته‌ها

• پویایی بیرون از دید را به‌طور قابل توجهی بهتر کرد و در وفاداری بصری، کنترل دوربین و پایبندی سه‌بعدی رقابتی ماند.
• نویسنده‌ها برای سنجش تحول بیرون از دید، معیارهای فضای جهان و یک بنچمارک با صحنه‌های واقعی و مصنوعی معرفی کردند.

محدودیت‌ها

نویسنده‌ها می‌گویند روش فعلاً مشاهده‌ی پانورامیک را به عنوان ورودی شرطی فرض می‌کند و به تنظیم‌هایی محدود است که چنین دیدی در دسترس است. چکیده عدد مشخصی برای بهبود نمی‌دهد.