What Does a Harness Buy? Tokens, Mostly

مسئله

ایجنت کدنویسی یک مدل زبانی است که در هارنس پیچیده شده: پرامپت سیستمی، مجموعه‌ی ابزار و مدیریت کانتکست. هارنس‌های تولیدی هر روز نسخه می‌دهند، فروشنده‌ها از بهبود نرخ پاس با تغییر هارنس می‌گویند و جدول‌های رتبه‌بندی هارنس‌ها را آزادانه قاطی می‌کنند. اما به ندرت سنجیده می‌شود که خود هارنس با مدل ثابت چقدر امتیاز را جابه‌جا می‌کند.

روش

نویسنده‌ها پنج مدل را با سه هارنس تولیدی Claude Code، mini-SWE-agent و OpenCode روی SWE-bench Verified اجرا کردند و همان پیکربندی‌ها را دوباره اجرا کردند تا بسنجند امتیاز وقتی هیچ چیز جز خود اجرا عوض نمی‌شود چقدر تغییر می‌کند. هزینه‌ی هر تسک هم با یک فهرست قیمت واحد مقایسه شد.

یافته‌ها

• روی ۴۴۷ تسک و دو مدل، Claude Code و mini-SWE-agent، سنگین‌ترین و سبک‌ترین هارنس، در محدوده‌ی پنج امتیاز هم‌ارز بودند.
• روی زیرمجموعه‌ی سخت ۴۵ تسکی با پنج مدل، عوض کردن هارنس به اندازه‌ی اجرای دوباره‌ی همان هارنس تسک‌ها را جابه‌جا کرد، ۱۳ درصد در هر دو حالت.
• تنها اثر هارنس که از نویز بیرون زد زیان بود: OpenCode تا ۹ امتیاز عقب بود و در یک مدل نیمی از این فاصله در اجراهایی بود که سقف خروجی‌اش قطعشان کرده بود.
• هزینه‌ی هر تسک با همان مدل و همان تسک‌ها تا ۳ برابر بین هارنس‌ها فرق کرد، که عمدتاً از مقدمه‌ی پرامپت سیستمی و طرح ابزارهای ارسالی در هر گام می‌آید.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ مقایسه‌ی کامل روی ۴۴۷ تسک فقط با دو مدل انجام شده و نویسنده‌ها نشان می‌دهند ۴۵ تسک فقط در نیمی از موارد فاصله‌ی ۱۳ امتیازی را تشخیص می‌دهد.