مقاله‌ی arXiv:2610.22869 · نگه‌داشته برای بعد
MS-Eval: Benchmarking Sub-Agent Delegation and Orchestration in MCP-Intensive Working Scenarios
بنچمارکی برای سنجیدن این‌که ایجنت اصلی کار را چقدر خوب بین ساب‌ایجنت‌ها تقسیم می‌کند
- تاریخ
- (۲۴ مهر ۱۴۰۵) 2026-10-16 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Bowen Ding, Qixin Wang, Lexing Ruan, Weiyi Lu, Qiwei Ge, Ruishan Fang, Tao Lin
- نهاد نویسنده‌ها
- Westlake University, Zhejiang University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌ها در کار واقعی با ابزارهای تخصصی زیاد و مسئله‌هایی با چند زیرتسک روبه‌رو می‌شوند. اگر همه را پشت سر هم با یک ایجنت انجام دهند، کار کند می‌شود و کانتکست پر از خروجی ابزارها. الگوی «ایجنت اصلی واگذار می‌کند، ساب‌ایجنت‌ها اجرا می‌کنند» زیرتسک‌ها را به ساب‌ایجنت‌های متخصص می‌دهد تا موازی و در کانتکست جدا کار کنند. اما تا حالا کیفیت این واگذاری و هماهنگی اندازه‌گیری نشده بود.
روش
مجموعه‌ی MS-Eval شامل یک بنچمارک پر از ابزارهای MCP، یک هارنس اجرای کنترل‌شده، معیارهای مخصوص واگذاری و هماهنگی، و یک شاخص کلی به اسم MSQ است. نویسنده‌ها چهار نسخه از این الگوی واگذاری را با هشت مدل پیشرفته مقایسه کرده‌اند و چند نمونه را از نزدیک بررسی کرده‌اند.
یافته‌ها
- ساب‌ایجنت‌های متخصص (هر کدام برای یک نوع کار) بهترین روش عملی بود.
- مدل‌های متن‌باز در بیشتر موارد با مدل‌های بسته رقابت می‌کنند.
- واگذاری معمولاً هزینه را بالا می‌برد و سودش مشروط است: برای بیشتر مدل‌های متن‌باز هم کیفیت و هم کارایی بهتر شد، اما برای مدل‌های بسته هزینه بیشتر و کیفیت کمتر شد.
- سود واقعی از سه جا می‌آید: راه‌حل بهتر هر ساب‌ایجنت، خالی کردن کانتکست ایجنت اصلی و موازی‌کاری واقعی؛ واگذاری اضافه یا تکراری فقط هزینه است.
محدودیت‌ها
نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند؛ ارزیابی روی یک محیط محلی از سرورهای MCP و پایگاه داده انجام شده و به همان سناریوها محدود است.
چرا مهم است
ساختن ساب‌ایجنت در ابزارهایی مثل کلاد کد رایج شده، ولی معلوم نبود کِی واقعاً کمک می‌کند. این بنچمارک نشان می‌دهد واگذاری خودبه‌خود خوب نیست: باید جایی باشد که کار واقعاً موازی می‌شود یا کانتکست ایجنت اصلی سبک می‌شود.