SuperNav: An Agentic Navigation System for Any Task in Any Scene

مسئله

ربات‌های خدماتی همه‌منظوره به ناوبری نیاز دارند که درخواست‌های متنوع انسانی را در محیط‌های ناآشنا انجام دهد، مثلاً «برایم یک لیوان آب بیاور» در خانه‌ای که ربات ندیده است. بعضی روش‌ها مدل‌های زبانی چندوجهی را برای پیش‌بینی اقدام ناوبری تنظیم دقیق می‌کنند، که رفتارشان را به پوشش داده‌ی آموزشی وابسته و تعمیم به درخواست‌ها و محیط‌های تازه را محدود می‌کند.

روش

سیستم SuperNav به مدل زبانی چندوجهی از پیش آموزش‌دیده یک هارنس ایجنتی تخصصی می‌دهد، بدون تنظیم دقیق برای ناوبری. مدل روی تفسیر درخواست، فهم صحنه و تصمیم‌گیری تمرکز می‌کند و اجرای حرکت به ابزارهای ناوبری سپرده می‌شود. هارنس شامل مهارت‌های ناوبری، ابزارهای ایجنت‌محور برای تعامل فیزیکی و مدیریت پیشرفت تسک و کانتکست است. یک رابط یکپارچه‌ی نقطه‌ی بصری اجازه می‌دهد مدل مقصد را مستقیم در تصویر مشخص کند و با بازخورد اجرا تصمیمش را اصلاح کند.

یافته‌ها

• روی تسک‌های سطح نمونه، چندشیئی و مبتنی بر نیاز، از چهار پایه‌ی ارزیابی‌شده بهتر بود.
• ارزیابی سطح دسته روی HM3D و استقرار روی یک ربات چهارپای واقعی کاربردپذیری آن را در محیط‌های مختلف نشان داد.

محدودیت‌ها

نویسنده‌ها می‌گویند سیستم در قضاوت معنایی به توان مدل زیربنایی محدود است، اجرای هندسی به نقشه یا هندسه‌ی صحنه نیاز دارد، استنتاج مدل هزینه و تأخیر متغیر دارد، و ارزیابی مبتنی بر نیاز فقط رسیدن به هدف‌ها را می‌سنجد نه انجام کامل فعالیت.