مقاله‌ی arXiv:2610.02616 · در صف خبرنامه
VERSE: Verified Self-Evolving Optimizer for Agent Harnesses
ورس: بهینه‌ساز خودتکامل تأییدشده برای هارنس‌های ایجنت
- تاریخ
- (۱۰ مهر ۱۴۰۵) 2026-10-02 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zekai Wang, Yingqiang Ge, Zekun Wang, Hai Wang, Yuhui Xu, Joshua Frandsen, Shancong Fu, Ashia C. Wilson, Chandan K. Reddy
- نهاد نویسنده‌ها
- MIT; Amazon
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
تکامل هارنس پرامپت‌ها، ابزارها و گردش‌کار یک ایجنت را بهتر می‌کند، اما ابزارها و رویه‌های خود بهینه‌ساز معمولاً ثابت می‌مانند. سؤال این است که آیا بهینه‌ساز با بهتر کردن نحوه‌ی تشخیص شکست، ساخت ویرایش و آزمودن اثرشان، ایجنت دیگر را مؤثرتر بهبود می‌دهد یا نه.
روش
در یک مطالعه‌ی کنترل‌شده، خودتکاملی بهینه‌ساز بدون تأیید مبتنی بر اجرا کارایی را بهتر نکرد اما با تأیید بهترین نتیجه را داد. بر این اساس روش VERSE به بهینه‌ساز اجازه می‌دهد پیش از ارسال، ویرایش‌های پیش‌نویس را بیازماید، شکست‌ها را بازپخش کند و گام‌های مشکوک را دست‌کاری کند، و اصلاح‌ها و پسرفت‌ها را در دورها دنبال کند. بهینه‌ساز هم هارنس اجراکننده و هم پرامپت‌ها، مهارت‌ها، ابزارها، قلاب‌ها و یادداشت‌های خودش را بازنگری می‌کند، در حالی که وزن هر دو مدل ثابت می‌ماند.
یافته‌ها
- در پنج اجراکننده، بهینه‌سازهای خودتکامل برای تحلیل شکست، تأیید، ممیزی آموزش و کنترل گردش‌کار ابزار خودشان را ساختند.
- با پروتکل مشترک و تسک‌های جدا برای آموزش، اعتبارسنجی و آزمون، هر چهار بهینه‌ساز هارنس ارزیابی‌شده را روی تسک‌های کنارگذاشته‌ی SWE-rebench و تسک‌های خارج از توزیع جدیدتر در پنج زبان بهتر کرد.
- بهترین هارنس به ترتیب به دقت ۴۲٫۳ و ۳۷٫۷ درصد رسید، در برابر ۳۹٫۲ و ۲۹٫۳ درصد قوی‌ترین پایه‌ها.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی روی تسک‌های مهندسی نرم‌افزار انجام شده است.
چرا مهم است
بهینه‌سازهای هارنس خودشان هم ایجنت‌اند و می‌توانند بهتر شوند. این کار نشان می‌دهد این بهبود فقط وقتی جواب می‌دهد که بهینه‌ساز بتواند اثر ویرایش‌هایش را با اجرا بسنجد.