SEAR: Self-Evolving Agentic Robotics

مسئله

ایجنت‌های مدل زبانی پیشرو حالا می‌توانند ربات‌ها را خودشان بهتر کنند: کد کنترل می‌نویسند، آزمایش می‌کنند و آنچه کار کرده را به عنوان اسکیل و حافظه برای تسک بعدی نگه می‌دارند. اما دو سؤال باز است: آیا ایجنت واقعاً یاد می‌گیرد یا فقط بیشتر تلاش می‌کند؟ و آیا آنچه یاد گرفته روی تسک تازه، شبیه‌ساز تازه و ربات واقعی هم کمک می‌کند؟

روش

چارچوب SEAR ایجنت را در سه حالت اجرا می‌کند: کدی می‌نویسد که سیاست می‌شود، مستقیم در حلقه‌ی کنترل عمل می‌کند، یا به عنوان پژوهشگر یک مدل بینایی-زبان-اقدام را تنظیم دقیق می‌کند. بنچمارک کنترل‌هایی دارد که تجربه‌ی نگه‌داشته‌شده را از تلاش‌های تکراری، تسک‌های آشنا، وضعیت ممتاز شبیه‌ساز، بودجه‌ی بیشتر و شانس جدا می‌کند. ارزیابی روی هفت مدل زبانی پیشرو، ۳۳۰ تسک شبیه‌سازی‌شده و پنج تسک فیزیکی و بیش از چهار سال زمان اجرای ایجنت انجام شد.

یافته‌ها

• منحنی یادگیری ایجنت رباتیک هم به بودجه‌ی زمانی کل و هم به سختی تسک نسبت به توانایی مدل بستگی دارد: تسک‌های سخت‌تر جلسه‌های طولانی‌تر را می‌ارزند، ولی در تسک‌های آسان، تکرار تلاش‌های کوتاه همان‌قدر خوب است.
• کد کنترل و روال‌های مشترک بین تسک‌ها و شبیه‌سازها منتقل می‌شوند ولی راه‌حل‌های خاص تسک نه؛ روی ربات واقعی، بین تمرین طراحی‌شده‌ی ایجنت و صحنه‌های تازه‌ی طراحی‌شده‌ی انسان فاصله‌ی کارایی دیده شد.
• مدل‌های مختلف به شکل‌های مختلف بهتر تکامل می‌یابند: بعضی با عمل مستقیم، بعضی با نوشتن کد. یک مدل فقط‌متنی هم‌پای یک مدل چندوجهی مشابه پیش رفت؛ ادراک به ارزیابی خطا کمک می‌کند، ولی استدلال ایجنتی و استفاده از ابزار می‌تواند مهم‌تر باشد.

محدودیت‌ها

نویسنده‌ها می‌گویند سه اجرا برای هر شرط قدرت تمایز را محدود می‌کند و پراکندگی بین تکرارها اغلب از فاصله‌ی مدل‌های مجاور بیشتر است. اجراهای مدل بینایی-زبان-اقدام و همه‌ی نتیجه‌های فیزیکی فقط یک اجرا دارند.