مقاله‌ی arXiv:2610.21088 · منتشرشده در کانال
Probe-and-Resume: When and How to Evaluate Agent Execution
داور ایجنت ترمینال را فقط وقتی صدا بزن که ایجنت می‌گوید کار تمام شد، و به او یک کپی از سیستم بده
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Jiakai Xu, Tiancheng Ge, Tujie Guan, Yusheng Li, Rohan Timmaraju, Eugene Wu, Kostis Kaffes
- نهاد نویسنده‌ها
- Columbia University
- برچسب لابراتوار
خلاصه‌ی فارسی
مسئله
جست‌وجو در زمان اجرا می‌تواند کارایی ایجنت را بالا ببرد: چند عمل جایگزین امتحان می‌شود و یک «داور» شاخه‌های امیدوارکننده را انتخاب می‌کند. اما در محیط‌های ترمینال، ایجنت فقط بخش کوچکی از وضعیت بزرگ سیستم را می‌بیند. نویسنده‌ها دیدند جست‌وجوی درختی مونت‌کارلو که آزمودند موفقیت را به‌طور معنادار بالا نمی‌برد. دو دلیل پیدا کردند: مشاهده‌های ایجنت بخشی از وضعیت لازم برای ارزیابی را ندارند، و وضعیت‌های میانی شواهد کمی از موفقیت نهایی می‌دهند.
روش
در وضعیت‌های میانی، داورها ادامه‌ها را فقط کمی بهتر از شانس رتبه‌بندی می‌کردند و دسترسی به محیط هم کمک چندانی نمی‌کرد. پس طراحی Probe-and-Resume پیشنهاد شد: داور فقط وقتی صدا زده می‌شود که ایجنت ادعا می‌کند کار تمام شده. داور به یک کپی (فورک) از وضعیت فعلی و وضعیت اولیه‌ی کامپیوتر دسترسی خواندن، نوشتن و اجرا دارد، پس می‌تواند آزمایش کند و حتی کارهای مخرب انجام دهد تا وضعیت پنهانی را که ایجنت ندیده پیدا کند. اگر داور کار را رد کند، ایجنت از همان جایی که ایستاده بود ادامه می‌دهد.
یافته‌ها
- روی Terminal-Bench ۲٫۱، موفقیت را ۸٫۴ واحد درصد نسبت به جست‌وجوی درختی با داورهای معمول بالا برد.
- با همان مدل پایه به نرخ موفقیت ایجنت Codex CLI نزدیک شد، با کمتر از نصف هزینه‌ی آن.
- داوری که بعد از ادعای پایان در یک کپی از سیستم بررسی اجرا می‌کند، خیلی دقیق‌تر از داوری در وضعیت‌های میانی قضاوت می‌کند.
محدودیت‌ها
نویسنده‌ها در بخش بحث می‌گویند نتایج به دامنه‌ی تسک‌ها و مدل پایه وابسته است و ترکیب جست‌وجوی پشت سر هم و موازی هنوز بررسی نشده است.
چرا مهم است
خیلی از ایجنت‌ها با اطمینان می‌گویند «کار تمام شد» در حالی که نشده است. این کار نشان می‌دهد بررسی در همان لحظه، با اجرای آزمون واقعی در یک کپی امن از سیستم، از قضاوت مداوم وسط کار مؤثرتر و ارزان‌تر است.