مقاله‌ی arXiv:2610.00972 · منتشرشده در کانال
VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
وری‌هارنس: مقیاس دادن تأیید ایجنتی برای تسک‌های بلندمدت بدون پاسخ مرجع
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Caiqi Zhang, Rujun Han, Zifeng Wang, Zoey CuiZhu, Nigel Collier, Tomas Pfister, Chen-Yu Lee
- نهاد نویسنده‌ها
- Google Cloud AI Research; University of Cambridge
خلاصه‌ی فارسی
مسئله
با بلندتر و پیچیده‌تر شدن تسک‌های ایجنت‌ها، تأیید خروجی‌شان سخت‌تر می‌شود. نمونه‌گیری مکرر چند اجرا می‌دهد که می‌توانند ادعاهای درست مکمل داشته باشند، اما برای تصمیم درباره‌ی این‌که به کدام ادعا اعتماد کنیم، سازوکار تأیید قابل اعتماد لازم است؛ آن هم با یک مدل پایه‌ی ثابت و بدون پاسخ مرجع یا روبریک نمره‌دهی در زمان آزمون.
روش
نویسنده‌ها دیدند اختلاف نظر بین اجراها اغلب گزینه‌های درست را آشکار می‌کند، در حالی که اجماع می‌تواند خطاها را پنهان کند. روش VeriHarness همان مدلی را که مولد به کار می‌برد، با دادن فضای کاری، ابزارهای شاهد و مهارت‌های تأیید قابل استفاده‌ی مجدد به یک تأییدکننده‌ی ایجنتی تبدیل می‌کند. یک حل‌کننده‌ی اختلاف ادعاهای رقیب را با شواهد محیط می‌سنجد و یک چالشگر اجماع ادعاهای مشترک را می‌آزماید و دنبال نیازهای جاافتاده می‌گردد؛ یافته‌هایشان انتخاب و بازنگری خروجی نهایی را هدایت می‌کند.
یافته‌ها
- در پنج بنچمارک فضای کاری بلندمدت و دو مدل پیشرو، بالاترین امتیاز انتخاب را در میان پایه‌های ارزیابی‌شده گرفت.
- بازنگری مبتنی بر شواهد بهبود نسبت به یک اجرا را به ۶٫۲ امتیاز با Gemini ۳٫۵ Flash و ۶٫۴ امتیاز با Claude Opus ۴٫۸ رساند.
- مهارت‌های تأیید از بازخورد شکست خودبهبود شدند، و حدود ۲۶ هزار اجرا که بیش از ۱۰۰ هزار دلار هزینه داشته منتشر شد.
محدودیت‌ها
نویسنده‌ها می‌گویند روش از یک مخزن ده‌اجرایی برای هر تسک تأیید می‌کند، به هر اجرا امتیاز عددی نمی‌دهد پس مستقیم به عنوان سیگنال پاداش قابل استفاده نیست، و فقط حالتی بررسی شده که تأییدکننده همان مدل مولد است.
چرا مهم است
وقتی پاسخ مرجعی نیست، انتخاب بهترین خروجی از چند تلاش سخت است. این کار نشان می‌دهد بررسی هدفمند اختلاف‌ها و به چالش کشیدن اجماع با شواهد محیط، هم انتخاب و هم کیفیت نهایی را بهتر می‌کند.