مقاله‌ی arXiv:2610.21910 · نگه‌داشته برای بعد
CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness
مدل بینایی-زبانی که برای استدلال، با یک مدل جهانِ ویدئویی صحنه‌های تازه «تصور» می‌کند
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Dongjie Cheng, Ruifeng Yuan, Ran Wei, Ning Song, Yongqi Li, Wenjie Li
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
از مدل‌های بینایی-زبانی انتظار می‌رود درباره‌ی حرکت، کنش و تغییر زاویه‌ی دید استدلال کنند، حتی چیزهایی که در تصویر ورودی نیست؛ مثلاً «اگر از پشت میز نگاه کنی، لیوان سمت چپ است یا راست؟». مدل‌های جهانِ ویدئویی می‌توانند تصویر یا ویدئوی تازه بسازند و شاهد بصری اضافه بدهند، اما روش‌های موجود آن‌ها را در یک خط لوله‌ی ثابت و فقط برای یک نوع تصور، مثل ساختن زاویه‌ی دید تازه، صدا می‌زنند.
روش
چارچوب CoWorld Reasoner مدل جهان ویدئویی را یک موتور استدلال بصری یکپارچه می‌کند. هارنس آن چند عملیات بصری را به شکل ابزار در اختیار می‌گذارد و با اسکیل‌ها مدل بینایی-زبانی را راهنمایی می‌کند که تصمیم بگیرد اصلاً لازم است تصور کند یا نه، کدام عملیات را انتخاب کند، درخواست تولید را چطور بنویسد و شاهد بصری تولیدشده را چطور تفسیر کند. در روش هم‌تکاملی، ابزارها، اسکیل‌ها و کد اجرا بر اساس بازخورد اجرا با هم بازنویسی می‌شوند، در حالی که وزن هر دو مدل ثابت می‌ماند.
یافته‌ها
- در هفت بنچمارک هوش فضایی، استدلال زمانی و علّی و استدلال ادراکی، از استدلال مستقیم با همان مدل بینایی-زبانی بهتر بود.
- قوی‌ترین نسخه در هر هفت بنچمارک بهتر شد، از جمله ۱۱٫۸ درصد بهبود نسبی دقت در MMSI و ۱۳ درصد در ERQA.
- در پنج بنچمارک از هر پنج روش تکاملی مقایسه با همان مدل پایه بهتر بود.
محدودیت‌ها
متن کامل این مقاله به شکل HTML در دسترس نبود و چکیده محدودیت مشخصی ذکر نمی‌کند؛ این خلاصه بر اساس چکیده است.
چرا مهم است
«تصور کردن» یک صحنه پیش از جواب دادن، کاری است که انسان در استدلال فضایی مدام انجام می‌دهد. این کار نشان می‌دهد می‌شود این توانایی را با ابزار و اسکیل به یک مدل موجود اضافه کرد، بدون آموزش دوباره.