CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline

مسئله

مدل‌های بینایی-زبان در سیستم‌های چندایجنتی برای خودکارسازی کار با کامپیوتر به کار می‌روند، اما بنچمارک‌ها بیشتر محیط سازگار و همکار را فرض می‌کنند. در همکاری واقعی، ایجنت‌های همکار یا ساب‌ایجنت‌ها وضعیت کهنه گزارش می‌دهند، دستور متناقض صادر می‌کنند یا سر مجوز و فایل مشترک رقابت می‌کنند؛ مثلاً ساب‌ایجنتی می‌گوید فایل ذخیره شده در حالی که نشده است. ساختن دستی چنین سناریوهایی مقیاس‌پذیر نیست و تولید آزاد با مدل زبانی به انحراف روایت، لو رفتن پاسخ و معیارهای غیرقابل برآوردن می‌انجامد.

روش

چارچوب CLASHarness تعارض‌های قابل تأیید چندایجنتی را با برنامه‌ریزی سلسله‌مراتبی سناریو و یک خط لوله‌ی هشت‌مرحله‌ای تأییدشده تولید می‌کند. واقعیت‌های بصری تعیین‌کننده را پیش از رندر ثبت می‌کند و ارزیاب‌های ترکیبی کدی و معنایی را مستقیم از مسیرهای مرجع اجراشده می‌سازد، پس هر تسک ساختاراً قابل حل است. بنچمارک شامل ۶۰۰ تسک چندمرحله‌ای است و ۱۵ مدل پیشرو روی آن ارزیابی شدند.

یافته‌ها

• وقتی خروجی ساب‌ایجنت با محیط تعارض دارد، مدل‌های ضعیف‌تر کورکورانه از اطلاعات گمراه‌کننده پیروی می‌کنند، ولی مدل‌های قوی‌تر شواهد بصری را برای تأیید واقعیت بررسی می‌کنند.
• حل تعارض خیلی سخت‌تر از یافتن آن است: ایجنت‌ها ناهمخوانی را می‌بینند، ولی اصلاح فعال وضعیت سیستم موفقیت را به‌طور چشمگیری پایین می‌آورد.
• پروتکل‌های هماهنگی گلوگاه همگانی‌اند: حتی مدل‌های پیشرو بیش از ۵۸ درصد اقدام‌های پایانی را خراب می‌کنند و اغلب آزاد کردن قفل مشترک یا تحویل تسک را فراموش می‌کنند.

محدودیت‌ها

نویسنده‌ها می‌گویند بررسی‌های معنایی با داور مدل زبانی و بدون مطالعه‌ی انسانی انجام شده (با رأی‌گیری سه‌نمونه‌ای و تأیید چندداوری کم شده)، و حل تعارض از روی لاگ‌ها و ردپای فضای کاری سنجیده شده نه گفت‌وگوی زنده.