Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents

مسئله

ایجنت‌ها کارها را با رشته‌های طولانی فراخوانی ابزار حل می‌کنند و معمولاً یک مدل قوی همه‌ی قدم‌ها را تولید می‌کند، در حالی که خیلی از قدم‌ها آن‌قدر ساده‌اند که یک مدل خیلی کوچک‌تر هم از پسشان برمی‌آید. روش‌های موجود برای تقسیم کار، مدل قوی را تولیدکننده نگه می‌دارند و فقط تصمیم می‌گیرند کدام قدم را به کدام مدل بدهند، یا پیش‌نویس مدل کوچک را قدم‌به‌قدم چک می‌کنند.

روش

پروتکل SpecAgent نقش مدل قوی را از نویسنده‌ی هر قدم به بازبین قدم‌هایی که مدل ضعیف نوشته تغییر می‌دهد. مدل ضعیف هنگام نوشتن پیش‌نویس، فراخوانی‌های فقط-خواندنی را واقعاً اجرا می‌کند تا هر قدم بر مشاهده‌ی واقعی تکیه داشته باشد، و اولین عملی را که محیط را تغییر می‌دهد نگه می‌دارد. بعد مدل قوی کل بخش پیش‌نویس را در یک پردازش موازی بررسی می‌کند، طولانی‌ترین بخش ابتدایی معتبر را می‌پذیرد و اولین قدم ردشده را ترمیم می‌کند. چون بررسی موازی جای تولید قدم‌به‌قدم را می‌گیرد، مدل قوی فقط حکم‌های کوتاه و گاهی ترمیم تولید می‌کند.

یافته‌ها

• روی τ²-Bench، با فاصله‌ی کمتر از یک امتیاز به نرخ موفقیت مدل قوی رسید، در حالی که ترافیک حافظه و زمان واقعی تقریباً نصف شد.
• روی AutomationBench و VitaBench بین ۴۴ تا ۷۵ درصد فاصله‌ی کیفیت دو مدل را جبران کرد و هم‌زمان هر دو هزینه را کم کرد.
• در یک استقرار لبه-ابر روی MCP-Atlas با سه مدل ابری، بین ۵۳ تا ۷۵ درصد فاصله را جبران کرد، در حالی که مدل قوی حداکثر نصف توکن‌ها را تولید کرد.

محدودیت‌ها

متن کامل بخش جداگانه‌ای برای محدودیت‌ها نداشت؛ در بعضی بنچمارک‌ها هنوز بخش قابل توجهی از فاصله‌ی کیفیت جبران نمی‌شود.