مقاله‌ی arXiv:2610.18780 · نگه‌داشته برای بعد
BLADE: Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems
یافتن مقصر شکست در سیستم چندایجنتی با ممیزی نحوه‌ی استفاده از اطلاعات، نه فقط منشأ آن
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Xiaoguang Guo, Yaohao Long, Chuxu Zhang
- نهاد نویسنده‌ها
- University of Connecticut
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
سیستم‌های چندایجنتی با همکاری نقش‌ها، ابزارها و گردش‌کارهای تخصصی توانایی را بالا می‌برند، اما همکاری تشخیص شکست را سخت‌تر می‌کند: یک ایجنت ممکن است نتیجه‌ی درستی را بد تفسیر کند و بقیه اشتباه را جلو ببرند. انتساب شکست یعنی پیدا کردن ایجنت مسئول و قدم خطای تعیین‌کننده. روش‌های اخیر وابستگی‌ها را دنبال می‌کنند، اما دانستن این‌که اطلاعات از کجا آمده با دانستن این‌که کجا خراب شده یکی نیست.
روش
چارچوب بدون آموزش BLADE از دنبال کردن اطلاعات به ممیزی استفاده از آن می‌رود. با استفاده از Jev برای داوری‌های احتمالی ساختاریافته، احتمال وابستگی‌ها را برای انتخاب تحویل‌های مرتبط بین منبع و تصمیم به کار می‌برد. در این تحویل‌ها بررسی می‌کند آیا تصمیم گیرنده از منبعش وفادارانه و در چارچوب نیازهای تسک استفاده کرده، و ورود خطا، انتشار خطا و ترمیم را از هم جدا می‌کند. این یافته‌ها به یک تشخیص کلی روی همه‌ی قدم‌های اجرا می‌رسند.
یافته‌ها
- بدون پاسخ مرجع، روی ۱۲۲۸ اجرای ناموفق در پنج زیرمجموعه‌ی Who&When و Who&When Pro، بین هشت راهبرد با یک رابط تصمیم مشترک بهترین یا هم‌رده‌ی بهترین دقت قدم را داشت.
- از روش «همه با هم» ۲٫۲ تا ۱۱٫۱ واحد درصد بهتر بود.
محدودیت‌ها
نویسنده‌ها می‌گویند ارزیابی پنج زیرمجموعه از دو بنچمارک را پوشش می‌دهد و ارزیابی روی گردش‌کارهای واقعی و حوزه‌های دیگر لازم است. روش به ردپای ثبت‌شده‌ی اجرا وابسته است و کیفیت انتسابش به کامل بودن آن بستگی دارد.
چرا مهم است
وقتی یک سیستم چندایجنتی شکست می‌خورد، پیدا کردن مقصر با خواندن دستی لاگ‌ها خیلی وقت می‌گیرد. این کار نشان می‌دهد بررسی نحوه‌ی استفاده از اطلاعات در هر تحویل، مقصر را دقیق‌تر پیدا می‌کند.