Competence-Aware Orchestration for LLM-Based Multi-Agent Systems

مسئله

سیستم‌های چندایجنتی مبتنی بر مدل زبانی با تخصص نقش‌ها و همکاری استدلال پیچیده را بهتر می‌کنند، اما همکاری بیشتر همیشه بهتر نیست: هماهنگی غنی‌تر ممکن است در موارد سخت کمک کند، ولی هزینه‌ی توکن و تعامل‌های تکراری اضافه دارد. سؤال این است که چطور همکاری را با توانایی مدل پایه روی پرسش فعلی تطبیق دهیم.

روش

یک چارچوب دومرحله‌ای: اول توانایی مشروط به تسکِ مدل پایه برای پرسش فعلی مدل می‌شود، با یک بازنمایی که با نظارت نرخ موفقیت یاد گرفته شده؛ بعد این سیگنال برای تطبیق فعال‌سازی نقش‌ها و گراف ارتباط به کار می‌رود.

یافته‌ها

• در شش بنچمارک به میانگین امتیاز ۹۳٫۸۱ درصد رسید.
• برای مدل‌های پایه‌ی تواناتر، میانگین دقت را از ۸۷٫۲۲ به ۸۹٫۹۷ رساند و هزینه‌ی توکن را ۳۶٫۲۶ درصد کم کرد؛ برای مدل‌های ضعیف‌تر ۴٫۵۸ امتیاز بهبود بیشتر نسبت به روش‌های موجود داد.
• همین روند روی مدل‌های پایه‌ی دیده‌نشده هم برقرار بود.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی روی بنچمارک‌های استدلالی است و تسک‌های ایجنتی طولانی را پوشش نمی‌دهد.