مقاله‌ی arXiv:2610.00917 · منتشرشده در کانال
Finding the Right Fit: Model-Harness Interactions across Agent Tasks
پیدا کردن جفت مناسب: تعامل مدل و هارنس در تسک‌های ایجنتی
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yixuan Li, Yiyun Zhou, Yao Long Teng, Fuchao Yang, Yanchen Deng, Zhiyi Lyu, Xuyu Dong, Feng Chen, Bo An
- نهاد نویسنده‌ها
- College of Computing and Data Science, Nanyang Technological University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
انتخاب یک سیستم ایجنتی یعنی انتخاب هم مدل زبانی و هم هارنسی که مدل از طریق آن عمل می‌کند. سؤال این است که آیا یک مدل، هارنس یا جفت قوی وقتی شرایط عوض می‌شود قوی می‌ماند یا نه.
روش
نویسنده‌ها ۶۶ پیکربندی را ارزیابی کردند: چهار هارنس قابل پیکربندی، یعنی OpenHands، DeepSeek Harness، PI و openJiuwen، هر کدام با پنج مدل روی سه بنچمارک TUA-Bench، ALE-CLI و Terminal-Bench 4. جفت‌های بومی هر فروشنده، یعنی Codex با مدل GPT و Claude Code با مدل Claude، هم اضافه شدند و مسیرهای جفت‌شده برای فهم علت تحلیل شدند.
یافته‌ها
- رتبه‌بندی مدل‌ها بین هارنس‌ها وارونه می‌شود: روی Terminal-Bench ۴، Claude در OpenHands ۷٫۹۴ امتیاز از GPT جلوتر است اما در PI ۳۰٫۱۶ امتیاز عقب‌تر.
- برای چهار مدل از پنج، بهترین هارنس از یک بنچمارک به دیگری عوض می‌شود، اما برخی جفت‌ها پایدارند: openJiuwen در هر سه بنچمارک بالاترین امتیاز Kimi را با فاصله‌ی ۵٫۶۱ تا ۱۱٫۱۱ امتیاز می‌دهد.
- هارنس خود فروشنده‌ی مدل همیشه بهترینش نیست و هزینه‌ی بیشتر همیشه امتیاز بیشتر نمی‌خرد: GPT زیر PI با کمتر از یک چهارم هزینه‌ی هر تسک امتیاز بیشتری از DSH گرفت.
- مدل‌ها تقریباً همه‌ی تعمیرها را خودشان شروع می‌کنند، پس خیلی چیزها به این بستگی دارد که هارنس شکست را به شکلی قابل استفاده به مدل برگرداند.
محدودیت‌ها
نویسنده‌ها می‌گویند مقایسه روی سه زیرمجموعه‌ی ثابت تسک با یک اجرای شمرده‌شده برای هر تسک است، تنظیمات مدل، ابزارها و بودجه یکسان نیستند پس اثر علّی هیچ جزئی جدا نمی‌شود، و واریانس بین اجراها سنجیده نشده است.
چرا مهم است
جدول‌های رتبه‌بندی معمولاً مدل‌ها را جدا از هارنس مقایسه می‌کنند. این کار نشان می‌دهد مدل، هارنس و تسک باید با هم ارزیابی شوند چون رتبه‌ها با تغییر هر کدام وارونه می‌شوند.