Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams

مسئله

آدم‌ها روزبه‌روز بیشتر کارها را به ایجنت‌ها می‌سپارند و این ایجنت‌ها با ایجنت‌های دیگران سر منابع مشترکی مثل یک کدبیس، یک تقویم یا یک بودجه روبه‌رو می‌شوند. وقتی هر ایجنت برای کاربر متفاوتی با هدف متفاوت کار می‌کند، هماهنگی اغلب شکست می‌خورد و گروه از حالتی که یک ایجنت برای همه کار کند بدتر می‌شود.

روش

نویسنده‌ها این وضعیت را با پنج مدل پیشرو و ۷۷ سناریو در چهار محیط بررسی کردند: محیط کلید دسترسی که ایجنت‌ها بودجه‌ی محاسبه‌ی مشترک دارند، کلینیکی با تقویم مشترک، محیط دستیار شخصی با سفارش یا رزرو گروهی، و صف ادغام با مهلت انتشار مشترک. در هر سناریو یک ایجنت هماهنگ‌کننده که به همه‌ی کاربران خدمت می‌کند با تیمی که هر ایجنتش به یک کاربر خدمت می‌کند، با و بدون کانال ارتباطی، مقایسه شد.

یافته‌ها

• تیم‌ها در هر محیط نتیجه‌ی گروهی بدتری از هماهنگ‌کننده داشتند: بدون کانال در دو محیط کاملاً فرو پاشیدند و حتی با کانال سربار هماهنگی فاصله‌ی قابل توجهی ایجاد کرد.
• در محیط دستیار شخصی، هماهنگ‌کننده یک درخواست هدف کاربر را حدود دو برابر بیشتر از تیم‌ها برآورده کرد.
• رفتارهای مرتبط با این شکست شامل توقف با بزرگ شدن تیم، باطل کردن کنش‌های یکدیگر و ساختن ادعاهای نادرست بود.
• راهکارهای مؤثر اما ویژه‌ی محیط پیدا شد: سرپرست تیم، دستورهای رویه‌ای صریح و بررسی پلتفرم که ایجنت را پیش از ثبت به خواندن پیام همتایان وادار می‌کند.

محدودیت‌ها

نویسنده‌ها می‌گویند مطالعه‌ی این سیستم‌ها پرهزینه، طولانی و تصادفی است: یک بار اجرای هر ۷۴ سناریوی MAMUBench با یک تیم همتا به همتای Claude Opus ۵ حدود ۳٫۴ میلیارد توکن مصرف می‌کند و اجرای پیاپی همه‌ی ساختارها حدود ۳۷۰ ساعت طول می‌کشد.