ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills

مسئله

ایجنت‌های مهارت‌محور با تقطیر مسیرهای موفق به راهبردهای قابل استفاده‌ی مجدد، کارایی نمونه را بالا می‌برند. اما بیشتر روش‌ها متن‌محورند و چیدمان فضایی و تناظر اقدام و وضعیت را به زبان خطی تبدیل می‌کنند که ساختار هندسی مهم را از دست می‌دهد؛ مثلاً موقعیت جعبه‌ها و دیوارها در یک پازل Sokoban در توصیف متنی به‌سختی قابل فهم است. کارهای اخیر شواهد بصری را وارد کرده‌اند، اما مهارت‌ها را جدا از بهینه‌سازی سیاست می‌سازند.

روش

چارچوب ViSkill تعامل‌های موفق را به شکل کارت‌های مهارت بصری ترکیبی رمزگذاری می‌کند که مستقیم در دسترس ایجنت بینایی‌زبان است. مهارت‌های بازیابی‌شده هم استنتاج و هم شکل‌دهی پاداش را هدایت می‌کنند، و مسیرهای موفق دوباره به کتابخانه تقطیر می‌شوند تا یک حلقه‌ی بسته شکل بگیرد که انباشت مهارت و بهبود سیاست همدیگر را تقویت کنند. یک سازوکار اختیاری شروع سرد یادگیری اولیه را سریع‌تر می‌کند.

یافته‌ها

• روی Sokoban، FrozenLake و PrimitiveSkill به نرخ موفقیت کلی ۰٫۸۹ و با مقداردهی اولیه‌ی شروع سرد به ۰٫۹۱ رسید.
• از همه‌ی پایه‌های اختصاصی و متن‌باز ارزیابی‌شده بهتر بود و سریع‌تر از PPO استاندارد همگرا شد.

محدودیت‌ها

نویسنده‌ها می‌گویند ارزیابی فقط روی محیط‌های پشتیبانی‌شده در چارچوب VAGEN بوده و سود در محیط‌های پیچیده‌تر یا باز تأیید نشده؛ پاداش مبتنی بر مهارت هم فرض می‌کند پیشرفت مفید به وضعیت‌های مهارت بازیابی‌شده می‌رسد.