مقاله‌ی arXiv:2610.22280 · در صف خبرنامه
LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents
ایجنت ارزانی که فقط وقتی مطمئن نیست کار را به مدل گران‌قیمت می‌سپارد
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Qingni Wang, Changdae Oh, Yuzhe Yang, Sharon Li, Jiachen Yang, Ang Li, Xin Eric Wang
- نهاد نویسنده‌ها
- Simular, University of Wisconsin–Madison
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌هایی که با کامپیوتر کار می‌کنند (کلیک، تایپ، باز کردن برنامه‌ها) در کارهای طولانی یا باید در هر قدم یک مدل پیشرفته‌ی گران اجرا کنند، یا با یک مدل کوچک متن‌باز کار کنند که اغلب شکست می‌خورد. راه میانه این است که مدل ضعیف کار کند و فقط وقتی لازم است کنترل را به مدل قوی بدهد. اما برای این تصمیم یک سیگنال عدم‌اطمینان لازم است که آن‌قدر ارزان باشد که در هر قدم بشود چکش کرد. بعد از واگذاری هم مدل قوی ممکن است گم شود، و چون از راه یک رابط بسته اجرا می‌شود چیزی از درونش دیده نمی‌شود.
روش
چارچوب LEASH بدون آموزش و در سه لایه کار می‌کند: عدم‌اطمینان اولیه درباره‌ی کل تسک برای تصمیم‌گیری در شروع، عدم‌اطمینان در هر قدم برای واگذاری وسط کار، و یک «ناظر سایه» که بعد از واگذاری مدل قوی را زیر نظر دارد. عدم‌اطمینان از مقایسه‌ی حالت‌های درونی مدل ضعیف با حالت‌هایش در مسیرهای موفق و ناموفق قبلی به دست می‌آید: هرچه حالت فعلی بیشتر شبیه شکست‌ها باشد، عدم‌اطمینان بیشتر است. این سیگنال از همان محاسبه‌ای استفاده می‌کند که برای تولید عمل انجام شده، پس هزینه‌ی اضافه ندارد.
یافته‌ها
- روی OSWorld با چهار مدل پایه، همیشه از مدل ضعیف تنها بهتر بود و با نرخ واگذاری یکسان، بین ۶٫۵۵ تا ۱۱٫۹۴ امتیاز از واگذاری تصادفی جلو زد.
- با
Qwen3.5-35B-A3Bبه عنوان مدل ضعیف، به موفقیت ۷۳٫۶۶ درصد با هزینه‌ی حدود ۰٫۴۱ دلار برای هر تسک رسید؛ هم‌تراز با اجرای همیشگی Claude Opus ۵ (۷۲٫۹۰ درصد) و با ۱۹٫۲ درصد هزینه‌ی کمتر.
محدودیت‌ها
نویسنده‌ها می‌گویند ارزیابی فقط روی OSWorld است و تعمیم به حوزه‌های دیگر آزموده نشده. امتیاز عدم‌اطمینان خطر شکست مدل ضعیف را می‌سنجد، نه سود واگذاری؛ اگر هر دو مدل در یک تسک گیر کنند، واگذاری کمکی نمی‌کند.
چرا مهم است
هزینه‌ی اجرای ایجنت با مدل‌های پیشرفته در کارهای طولانی زیاد است. این کار نشان می‌دهد یک مدل کوچک با یک سیگنال عدم‌اطمینان تقریباً رایگان، می‌تواند تصمیم بگیرد کِی واقعاً به مدل گران نیاز است، و کیفیت را حفظ کند.