مقاله‌ی arXiv:2610.13829 · در صف خبرنامه
MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents
ممیزی خودبهبودی مبتنی بر تجربه در ایجنت‌های ماینکرفت: تجربه‌ی مرتبط انتقال پایداری نشان نداد
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Jingwei Song, Zhisheng Chen, Bingfan Zeng, Jing Tang, Yubo Hou, Jinhao Jing, Zhengwei Xie, Linfeng Zhang
- نهاد نویسنده‌ها
- Shanghai Jiao Tong University; University of the Chinese Academy of Sciences; South China University of Technology
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
چالش اصلی خودبهبودی بازگشتی بدن‌مند این است که ایجنت تاریخچه‌ی تعامل را به توانایی‌ای تبدیل کند که فراتر از یک جهان بماند و به تسک‌های بعدی منتقل شود. یک حافظه‌ی ذخیره‌شده یا یک اقدام نهایی موفق به تنهایی ثابت نمی‌کند توانایی قابل استفاده‌ی دوباره‌ای به دست آمده؛ ارزیابی باید تغییر توانایی را از منابع منتقل‌شده، مواجهه‌ی نابرابر با منبع و شکست‌های اولیه‌ی اجرا جدا کند. مثلاً ایجنتی که در جهان دوم سریع‌تر ابزار می‌سازد، شاید فقط چوب جمع‌شده از جهان اول را با خود آورده باشد.
روش
بنچمارک کنترل‌شده‌ی MC-EvoBench در ماینکرفت ۱۹ زنجیره‌ی تکاملی ثبت‌شده دارد، شامل ۱۲ زنجیره‌ی ارزیابی اصلی و هفت زنجیره‌ی کالیبراسیون، به همراه سه خانواده‌ی آزمون جفتی برای انتقال. هر تسک یک گراف وضعیت تسک است، با تأییدکننده‌های محیطی در سطح مرحله؛ جهان هدف ریست می‌شود و فقط یک محصول اعلام‌شده‌ی ایجنت اجازه دارد از مرز منبع و هدف عبور کند. برای هر آزمون، شرایط بدون پیشینه، مرتبط، نامرتبط و درهم‌ریخته با بودجه‌ی قدم برابر و پنج بذر ارزیابی می‌شوند.
یافته‌ها
- یک فاصله‌ی پایدار در توانایی مستقیم بین نسخه‌های کنترل‌کننده و نسخه‌های مجهز به برنامه‌ریز دیده شد.
- تجربه‌ی مرتبط انتقال پایداری نداد: هیچ‌کدام از دو آزمون ابزار را بهتر نکرد، سود کوچکش در گونه‌های چوب به یک بذر وابسته بود و همه‌ی بازه‌ها صفر را شامل می‌شدند.
- ممیزی مرحله‌ها نشان داد گلوگاه‌های اولیه‌ی جمع‌آوری چوب و ساخت، اغلب توانایی‌های بعدی را قابل مشاهده نمی‌گذارند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ بنچمارک به یک محیط ماینکرفت و مجموعه‌ی ثابتی از زنجیره‌ها محدود است.
چرا مهم است
بسیاری از ادعاهای «خودبهبودی» ایجنت‌ها بدون کنترل‌های کافی سنجیده می‌شوند. این کار نشان می‌دهد با کنترل دقیق، انتقال توانایی که انتظار می‌رفت دیده نمی‌شود.