مقاله‌ی arXiv:2610.13870 · منتشرشده در کانال
Ask Your Advisor: Learning When to Consult Stronger Models in Agentic Systems
از مشاورت بپرس: یادگیری این‌که ایجنت ارزان کِی از مدل قوی‌تر کمک بگیرد
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Pascal Sowietzki, Steffen Holter, Yannick Metz, Emil Kasper, Raphael Baur, Mennatallah El-Assady
- نهاد نویسنده‌ها
- ETH Zurich
- برچسب لابراتوار
خلاصه‌ی فارسی
مسئله
برای تعادل کارایی و هزینه، گردش کار ایجنتی می‌تواند از یک مدل ارزان برای اجرا استفاده کند و فقط گاهی با یک مدل قوی‌تر مشورت کند. در این سیستم‌های اجراکننده و مشاور، اجراکننده خودش تصمیم می‌گیرد کِی کمک بخواهد، پس این تصمیم به خودارزیابی وابسته است، در حالی که مدل‌های زبانی امروز در تشخیص جایی که استدلالشان شکست می‌خورد ضعیف‌اند.
روش
کنترل‌کننده‌ی ARIA یاد می‌گیرد کِی مشورت کند، با تعادل بین موفقیت تسک و هزینه‌ی مشورت. مشورت به شکل یک مسئله‌ی تخصیص منابع پی‌درپی تعریف می‌شود: در نقطه‌های تماس گردش کار، ARIA شواهد اجرا را به یک وضعیت فشرده تبدیل می‌کند و «سکوت» یا «مشورت» را انتخاب می‌کند، با ارزش اقدام‌هایی که از نتیجه‌های جریمه‌شده با هزینه به روش کنترل مونت‌کارلو یاد گرفته می‌شوند.
یافته‌ها
- روی SWE-bench Verified، Terminal-Bench ۲٫۱ و τ²-bench، بین ۴۴ تا ۸۱ درصد فاصله‌ی موفقیت اجراکننده و مشاور را با کمتر از نصف هزینه‌ی مدل مشاور جبران کرد.
- بهترین تعادل موفقیت و هزینه را بین ده شرط دیگر داشت، از جمله روش‌های مسیریابی و آبشاری، مشورت ثابت و با پرامپت، و جای‌گذاری تصادفی با حجم مشورت برابر.
- سیاست‌ها فشرده و قابل بررسی‌اند و یک پارامتر «قیمت مشورت» تعادل را بدون آموزش دوباره‌ی هیچ‌کدام از مدل‌ها تنظیم می‌کند.
محدودیت‌ها
نویسنده‌ها می‌گویند سود وقتی بیشتر است که نقطه‌های تصمیم مشابه در تسک‌ها تکرار شوند و روی تسک‌های ناهمگون مثل Terminal-Bench کمتر است.
چرا مهم است
ترکیب مدل ارزان و گران رایج است، ولی معمولاً با قاعده‌ی ثابت یا خودارزیابی ضعیف. این کار نشان می‌دهد زمان مشورت مهم‌تر از حجم آن است و می‌شود آن را با یک سیاست ساده یاد گرفت.