HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents

مسئله: ایجنت‌های کدنویسی خوب یاد گرفته‌اند تستِ شکسته را بخوانند، علتش را پیدا کنند و کد را درست کنند. سؤال این مقاله این است: اگر همین ایجنت به‌جای کامپیوتر یک ربات دوبازو را کنترل کند، تا کجا جلو می‌رود و دقیقاً کجا گیر می‌کند؟

روش:

• هارنس عمداً «نازک» نگه داشته شده: تنها کارش این است که دستورهای ایجنت را، که از یک خط فرمان می‌آیند، به حرکت ربات تبدیل کند.
• ایجنت تصویر سه دوربین را می‌بیند و جا و زاویه‌ی دقیق هر دوربین را می‌داند.
• بعد از هر تلاشِ ناموفق، ایجنت لاگ را می‌خواند، علت را پیدا می‌کند و برنامه‌های کوچکی به اسم «ابزار» می‌نویسد یا اصلاح می‌کند. یعنی هر چیزی که یاد می‌گیرد به شکل کد می‌ماند، درست مثل وقتی که ایجنت کدنویسی یک تستِ شکسته را درست می‌کند.
• برای پیدا کردن جای اشیا، ابزارها از هندسه‌ی ساده کمک می‌گیرند. مثلاً اگر دو دوربین یک نقطه را ببینند، آن نقطه همان‌جاست که خط دیدِ دو دوربین به هم می‌رسد. اگر دوربین سر کافی نباشد، ربات دوربینِ روی مچش را جابه‌جا می‌کند تا نمای دوم بگیرد.
• ابزارها فقط روی ده چیدمان از هر تسک ساخته شدند، بعد قفل شدند و روی ده چیدمانِ تازه از همان تسک آزمایش شدند. ایجنت هم کدکس با مدل GPT-6-Astra بود.

یافته‌ها: روی هر ۴۲ تسکِ بنچمارک رباتیکِ RoboDojo، میانگین نرخ موفقیت حدود ۴۰ درصد شد که رکورد تازه‌ی این بنچمارک است. جالب‌تر این است که کجا شکست می‌خورد: هل دادن یک جسم تقریباً همیشه جواب داد (حدود ۹۲ درصد) و کارهایی که ربات باید چیزی را به خاطر بسپارد ۶۵ درصد، اما جا زدن دقیق یک قطعه در جای تنگ فقط حدود ۸ درصد. وقتی ایجنت شکست می‌خورد، معمولاً خطا را درست می‌دید ولی نمی‌توانست حرکتِ لازم را از ربات بگیرد.

محدودیت: به گفته‌ی خود نویسنده‌ها گلوگاه تماس فیزیکی است، نه استدلال. آزمون هم روی چیدمان‌های تازه‌ی همان تسک‌ها بود، نه تسک‌های کاملاً جدید، پس هنوز معلوم نیست این ابزارها چقدر به کارهای دیگر منتقل می‌شوند.