مقاله‌ی arXiv:2607.04528 · در صف خبرنامه
Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents
سنجش واگرایی باور ناشی از هارنس در ایجنت‌های چندمرحله‌ای
- تاریخ
- (۱۴ تیر ۱۴۰۵) 2026-07-05 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Haiwen Yi, Xinyuan Song
- نهاد نویسنده‌ها
- University of Toronto; Emory University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
هارنس اجرا تعیین می‌کند مدل چطور محیط را ببیند، روی آن عمل کند و نتیجه را بسنجد. نویسنده‌ها نشان می‌دهند هارنس می‌تواند باورهای در حال تحول ایجنت درباره‌ی محیط را هم شکل دهد، حتی وقتی تسک، محیط و مدل پایه ثابت‌اند؛ مثلاً هارنسی که خروجی تست را کوتاه می‌کند ممکن است ایجنت را به این باور برساند که همه‌ی تست‌ها رد شده‌اند.
روش
یک تشخیص «اجرای باور» ردیابی می‌کند وضعیت جهان پیش‌بینی‌شده و تصمیم‌های آینده‌ی ایجنت زیر هارنس‌های جایگزین چطور تحول می‌یابند، و واگرایی فوری ناشی از رابط را از واگرایی که در افق‌های طولانی‌تر رشد می‌کند جدا می‌کند. سپس روش BIWM شواهدی را که اجرای هارنس پنهان یا فشرده کرده آشکار می‌کند و مسیرهای باور را بین هارنس‌ها هم‌تراز می‌کند.
یافته‌ها
- در تسک‌های کدنویسی کنترل‌شده‌ی HIBench-Code، SWE-bench Verified و Terminal-Bench، واگرایی باور قابل توجهی بین هارنس‌ها دیده شد که اغلب از روی موفقیت نهایی نامرئی است.
- واگرایی رشد بیشتر با ناسازگاری بیشتر در کنش‌های پایین‌دستی همراه بود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده اندازه‌ی عددی واگرایی یا اثر روش را نمی‌گوید.
چرا مهم است
دو ایجنت با نرخ موفقیت یکسان ممکن است محیط را کاملاً متفاوت فهمیده باشند. این کار نشان می‌دهد طراحی هارنس فهم ایجنت را شکل می‌دهد و باید در ارزیابی دیده شود.