JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs

مسئله

ایجنت‌ها امروز نرم‌افزار درست می‌کنند، با کامپیوتر کار می‌کنند و به مشتری‌ها خدمت می‌دهند، اما هارنسشان در هر قدم یک مدل زبانی بزرگ را صدا می‌زند و کارهای طولانی کند و گران می‌شوند. بیشتر این فراخوانی‌ها در واقع یک تصمیم چندگزینه‌ای‌اند، مثلاً «کدام ابزار را بعد صدا بزنم؟». مدل‌های تصمیمی مثل Jev این سؤال‌ها را مستقیم و با کسری از زمان و هزینه جواب می‌دهند. سؤال این است که هارنس چطور این تصمیم‌ها را واگذار کند بی آن‌که موفقیت افت کند.

روش

نویسنده‌ها اول بنچمارک AgentDecisionBench را ساختند که مدل‌های تصمیم را از سؤال‌های جدا تا کنترل یک ایجنت در حال اجرا می‌سنجد. بعد هارنس JevAgentHarness را طراحی کردند که برای هر نوع تصمیم یک آستانه‌ی اطمینان را روی مسیرهای خود ایجنت تنظیم می‌کند؛ اگر مدل تصمیم مطمئن نبود، تصمیم به مدل زبانی برمی‌گردد. چون مدل‌های تصمیم موجود هیچ‌وقت وضعیت‌هایی را که ایجنت بعد از اشتباه‌های خودش به آن‌ها می‌رسد ندیده‌اند، یک مدل باز ۴ میلیاردی (AgentDecision-4B) روی همین وضعیت‌ها با جواب‌های Jev به عنوان برچسب آموزش دادند.

یافته‌ها

• دقیق‌ترین مدل تصمیم روی سؤال‌های جدا فقط ۶۹٫۵ درصد تسک‌های ایجنتی را حل کرد، و واگذاری انتخاب ابزار بدون آستانه‌ی تنظیم‌شده موفقیت را ۱۹ امتیاز پایین آورد.
• روی تسک‌هایی متفاوت با داده‌ی آموزش، ایجنت با AgentDecision-4B ۹۱٫۵ درصد و با Jev ۸۲ درصد تسک‌ها را حل کرد.
• روی تسک‌های شبیه داده‌ی آموزش، مدل‌های ۴ میلیاردی آموزش‌دیده با این روش ایجنت را ۸۱ تا ۸۹ درصد ارزان‌تر و تا ۲٫۵ برابر سریع‌تر کردند، بدون این‌که موفقیت ۳ امتیاز یا بیشتر افت کند.

محدودیت‌ها

نویسنده‌ها می‌گویند همه‌ی تسک‌ها و پرامپت‌ها انگلیسی‌اند و بیشتر اجراها با مدل‌های جمنای بوده است. آزمون‌ها فقط نشان می‌دهند افت موفقیت از یک حد ثابت (۳ امتیاز) کمتر است، نه این‌که موفقیت برابر است، و آستانه‌ها و مدل برای اجراهای همان ایجنت تنظیم شده‌اند.