SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire

مسئله

مدل‌های زبانی ایجنتی کارهای پیچیده انجام می‌دهند، اما استدلال راهبردی در افق بلند کم بررسی شده است: بیشتر بنچمارک‌ها کوتاه و اپیزودی‌اند و کارایی در تسک‌های طولانی را نمی‌شود به دانش ذخیره‌شده، استدلال و شانس تفکیک کرد.

روش

بنچمارک SpireBench مدل‌ها را وادار می‌کند بازی تجاری کامل کارت‌سازی Slay the Spire را بازی کنند، که در آن تصمیم‌های اولیه موفقیت بلندمدت را تعیین می‌کنند. ۲۰ مدل زبانی در بالاترین سطح سختی بازی ارزیابی شدند. برای سنجش اتکا به دانش قبلی، همه‌ی اصطلاح‌های بازی به‌طور کامل و سازگار تغییر نام داده شدند. هارنس آن اولین هارنسی است که بازی اصلی کامل را به مدل می‌دهد.

یافته‌ها

• مدل‌های پیشرو از پایه‌های مبتنی بر قاعده بهترند و هم‌سطح بازیکن انسانی متوسط‌اند، اما خیلی عقب‌تر از متخصصان؛ این فاصله با طولانی شدن دور بیشتر می‌شود و قوی‌ترین مدل‌ها پرده‌ی اول را به اندازه‌ی متخصصان می‌برند و بعد عقب می‌افتند.
• آنچه مدل قوی را از ضعیف جدا می‌کند کیفیت بازی در هر نبرد است؛ همه‌ی مدل‌ها ریسک را در طول یک دور اشتباه می‌سنجند و سلامت را حفظ می‌کنند به جای این‌که برای قوی‌تر شدن خرجش کنند.
• تغییر نام اصطلاح‌ها نشان داد بخشی از کارایی به دانش قبلی بازی متکی است، و مدل‌ها از حافظه‌هایی که بین دورها می‌نویسند بهتر نمی‌شوند، چون این حافظه‌ها اغلب غلط و بیش از حد محتاطانه‌اند.

محدودیت‌ها

نویسنده‌ها می‌گویند ترتیب مدل‌ها فقط با یک شخصیت در یک بازی نوبتی متنی سنجیده شده، تغییر نام آشنایی با ژانر را پنهان نمی‌کند پس هزینه‌اش یک کران پایین است، مقایسه با انسان با بذرهای یکسان نیست، ده بذر برای مرتب کردن مدل‌های نزدیک کافی نیست و ارائه‌دهنده‌ها ممکن است مدل پشت یک شناسه را بی‌اعلام عوض کنند.