Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction

مسئله

هارنس ایجنت نقش‌ها، دستورها، ابزارها و ساختار ارتباطی را مشخص می‌کند و هارنس مناسب به پرسش بستگی دارد. چون ارزش هر انتخاب طراحی فقط با اجرا معلوم می‌شود، تطبیق هارنس با هر پرسش تا کنون یا به اجرای گزینه‌های مختلف در زمان استنتاج نیاز داشته یا به طراحی دستی پرهزینه.

روش

روش SHIFT اجرا را از حلقه‌ی جست‌وجوی هر پرسش بیرون می‌برد. یک مدل زبانی محلی به عنوان معمار، سیاستی روی کنش‌های ساخت هارنس از جست‌وجو یاد می‌گیرد، و یک تابع ارزش از اجراهای سنجیده‌شده سودمندی‌ای را پیش‌بینی می‌کند که دقت را با هزینه‌ی اجرا متوازن می‌کند. برای هر پرسش، جست‌وجوی درختی مونت‌کارلو با این پیش‌بینی‌ها هارنس را می‌سازد.

یافته‌ها

• در ۹٬۱۹۳ تسک از شش بنچمارک، از ریاضی تا اسناد و دستیار عمومی، با اجراکننده‌ی Gemini ۳٫۵ Flash بالاترین میانگین دقت، حدود ۸۰ درصد، را گرفت و ۷٫۲ واحد درصد از قوی‌ترین پایه از میان ۱۷ پایه بهتر بود.
• حالت ارزان‌تر آن هم از همه‌ی پایه‌ها دقیق‌تر بود و ۳۲ درصد توکن اجرای کمتری از قوی‌ترین پایه مصرف کرد.
• انتخاب هم‌زمان ساختار، دستورها و ابزارها تا ۹٫۱ واحد درصد از انتخاب فقط دستورها یا فقط ابزارها بهتر بود.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ تابع ارزش از اجراهای قبلی آموخته می‌شود و نتایج با یک اجراکننده گزارش شده‌اند. وابستگی سازمانی بقیه‌ی نویسنده‌ها در نسخه‌ی HTML خوانا نیست.