RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments

مسئله

ایجنت‌های همه‌منظوره بیش از پیش کد می‌نویسند، از ابزار استفاده می‌کنند و کارهای دیجیتال پیچیده انجام می‌دهند. سؤال این است که این توانایی‌ها تا کجا به دنیای فیزیکی منتقل می‌شوند، یعنی آیا ایجنت می‌تواند دستور و مشاهده را از طریق رابط‌های ربات به اجرای فیزیکی تسک تبدیل کند.

روش

بستر شبیه‌سازی RobotWorld شامل ۸۴ تسک در دست‌کاری اشیا، دست‌کاری متحرک، حرکت، رانندگی و کنترل هوایی است، با بودجه‌ی تعامل صریح و بررسی موفقیت اجرایی. نتیجه‌ی تسک‌ها کنار ردپاهای اجرا تحلیل شد تا توانایی‌های منتقل‌شده و شکاف‌های مانع تکمیل قابل اعتماد مشخص شوند.

یافته‌ها

• ایجنت‌های فعلی می‌توانند گردش‌کارهای پیچیده‌ی ادراک و کنترل بسازند، شامل قطعه‌بندی تصویر، کالیبراسیون دوربین، تخمین فضایی و محاسبه‌ی مبتنی بر دینامیک.
• این توانایی‌ها به‌طور پیوسته به رفتار موفق تبدیل نمی‌شوند: ایجنت‌ها با وجود رسیدن به وضعیت فرمان‌داده وضعیت اشیای مرتبط را از دست می‌دهند، اقدام بی‌اثر را اصلاح نمی‌کنند، دیر بازیابی می‌شوند یا تسک ناتمام را تمام‌شده می‌پندارند.
• انتقال بین مدل‌ها هم متفاوت است: Astra در هدف‌های فضایی و تماس محدود بیشتر موفق است و Opus ۵٫۵ در هدف‌های تعادل پیوسته و تعامل زمان‌دار.

محدودیت‌ها

نویسنده‌ها می‌گویند تفاوت نیمرخ مدل‌ها فقط فرضیه می‌دهد و سهم بینایی، کدنویسی یا کنترل را جدا نمی‌کند؛ همه‌ی ارزیابی‌ها در شبیه‌سازی است.