LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets

مسئله: معمولاً ایجنت را با نتیجه‌ی نهایی می‌سنجیم: کار را تمام کرد یا نه، چقدر سود کرد. اما در محیطی که مدام عوض می‌شود، نتیجه هم به رفتار ایجنت بستگی دارد و هم به شانس و شرایط بیرون. پس از روی نتیجه نمی‌شود فهمید ایجنت در کدام توانایی خوب است: ابزار را درست صدا می‌زند؟ از حافظه‌اش درست استفاده می‌کند؟ قاعده‌ها را رعایت می‌کند؟

روش: نویسنده‌ها بازار واقعی رمزارز و سهام آمریکا را محیط آزمون کردند، با حساب‌های آزمایشی و بدون پول واقعی. هر ایجنت یک حساب دائمی دارد که هیچ‌وقت ریست نمی‌شود و هر چهار ساعت یک بار تصمیم می‌گیرد، پس هر معامله روی همه‌ی تصمیم‌های بعدی اثر می‌گذارد. پنج مدل (GPT-5.4، Gemini-3.1-Pro، Grok-4.20، DeepSeek-V3.2 و Qwen3-Max) حدود ۳۰ روز در پنج پیکربندی کار کردند: یک ایجنت پایه، و چهار نسخه که هرکدام یک قابلیت اضافه دارد: ابزار، حافظه‌ی ماندگار، قاعده‌های معامله‌ی چندلایه، و تیمی از چند ایجنت (مدیر، تحلیلگر، منتقد و چند نقش دیگر). علاوه بر سود، ترنسکریپت کامل هر تصمیم هم بررسی شد تا معلوم شود هر قابلیت واقعاً چطور به کار رفته.

یافته‌ها:

• رتبه‌بندی مدل‌ها بر اساس سود در طول آزمون بارها جابه‌جا شد، ولی رتبه‌بندی بر اساس کیفیت استفاده از هر قابلیت تقریباً ثابت ماند. مثلاً در پیکربندی ابزار، Grok-4.20 بیشترین سود را کرد، در حالی که در استفاده‌ی درست از ابزار از همه ضعیف‌تر بود.
• حافظه سه مرحله‌ی جدا دارد: نوشتن، بازیابی و به‌کار بستن، و قوی بودن در یکی تضمینی برای بقیه نیست. مدل GPT-5.4 حدود ۳۳۰ بار از حافظه خواند ولی فقط یک یادداشت در آن نوشت و همان یک قاعده‌ی کلی را مدام تکرار کرد. مدل Gemini بیشترین و باکیفیت‌ترین یادداشت‌ها را ساخت ولی در به‌کار بستنشان از همه ضعیف‌تر بود. مدل Grok فقط ۱۲ یادداشت داشت اما بهتر از همه از آنها استفاده کرد.
• حافظه در هر پنج مدل بدترین ضررها را کم کرد، ولی اثرش روی سود یکسان نبود و در بعضی مدل‌ها تازه در روزهای آخر پیدا شد. در GPT-5.4 که حافظه‌اش اصلاً رشد نکرد، چنین بهبودی دیده نشد.
• رعایت قاعده و قابل‌بازبینی بودن آن دو چیز جدا هستند. مدل DeepSeek-V3.2 بیشتر وقت‌ها قاعده‌ها را رعایت کرد، اما در استدلالش اثری از چک کردن قاعده نبود و گاهی از وضعیت اشتباهی از حسابش شروع می‌کرد. خیلی از تخلف‌ها هم از نادیده گرفتن قاعده نبود: ایجنت درست حساب نکرده بود که بعد از معامله، سهم یک دارایی از کل حساب چقدر می‌شود.
• تیم چندایجنتی سود سه مدل از چهار مدل آزموده‌شده را بیشتر کرد، ولی در هر چهار مدل افت‌های بزرگ‌تری هم در ارزش حساب آورد. مدل GPT-5.4 در عمل تقریباً همه‌ی کار را به یک نقش سپرد، پس صرفِ داشتن چند ایجنت به معنای همکاری واقعی نیست.

محدودیت‌ها: آزمون فقط حدود یک ماه طول کشیده و روی مدل‌های نسل قبل (مثل GPT-5.4) انجام شده، و بخشی از امتیازها را خود مدل‌های زبانی به‌عنوان داور داده‌اند. همه‌چیز هم در یک حوزه، یعنی معامله در بازار، آزموده شده و شاید به همه‌جا تعمیم پیدا نکند.