مقاله‌ی arXiv:2609.39982 · منتشرشده در کانال
Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents
میدهارنس: مقیاس دادن کنش‌ها در مرز مدل و هارنس برای ایجنت‌های ترمینال
- تاریخ
- (۸ مهر ۱۴۰۵) 2026-09-30 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Minki Kang, Ryo Hachiuma, Shaokun Zhang, Subhashree Radhakrishnan, Yonggan Fu, Jindong Jiang, Mingjie Liu, Ehsan Hosseini-Asl, Yi Dong, Yu-Chiang Frank Wang, Byung-Kwan Lee
خلاصه‌ی فارسی
مسئله
ایجنت‌های ترمینال با تولیدهای تصادفی مدل عمل می‌کنند و توانایی تولید یک کنش مفید اجرای قابل اعتماد آن را تضمین نمی‌کند. یک دستور بد، مثلاً نصب بسته‌ی اشتباه، می‌تواند محیط را طوری تغییر دهد که پیشرفت بعدی را مختل کند، حتی وقتی مدل می‌توانست گزینه‌ی بهتری تولید کند.
روش
روش Mid-Harness پیش از فرستادن یک کنش برای اجرا، چند کنش نامزد نمونه‌گیری و تأیید می‌کند، در حالی که مولد و هارنس بدون تغییر می‌مانند. نویسنده‌ها بررسی کردند صرف محاسبه‌ی زمان آزمون در این مرز چقدر قابلیت اطمینان کنش و موفقیت مسیر را بهتر می‌کند و چه چیزی این تخصیص را مؤثر می‌کند، و پاسخ‌های یک تأییدکننده‌ی قوی‌تر را در مدل کوچک تقطیر کردند.
یافته‌ها
- با مولد TMAX-9B، نمونه‌گیری بیشتر کنش زیر تأیید ضعیف سود کمی داشت، اما یک تأییدکننده‌ی توانا گزینه‌های مفید همان مولد را به کار گرفت.
- روی TerminalBench-Lite یک تأییدکننده‌ی GPT-5.6 Sol با ۸ کنش نمونه‌گیری‌شده Pass@۱ را از ۵۰٫۰۰ درصد ایجنت پایه به ۶۸٫۰۳ درصد رساند.
- وقتی خود TMAX-9B تأییدکننده بود، تأیید جفتی بهترین سازوکار بود، و ترکیب مقیاس کنش و مسیر با هزینه‌ی توکن تخمینی کمتر از تولید مسیرهای بیشتر به موفقیت بالاتر رسید.
محدودیت‌ها
نویسنده‌ها می‌گویند تأییدکننده‌ی تقطیرشده با همان مولد و هشت نامزد به ۵۷٫۱۴ درصد رسید در برابر ۶۸٫۰۳ درصد تأیید پیشرو، و روش تقطیرشان نشان نمی‌دهد این فاصله چطور بسته می‌شود. وابستگی سازمانی نویسنده‌ها در نسخه‌ی HTML خوانا نیست.
چرا مهم است
یک دستور اشتباه در ترمینال می‌تواند کل مسیر را خراب کند. این کار نشان می‌دهد سنجیدن چند گزینه پیش از اجرا، با یک تأییدکننده‌ی خوب، یکی از مؤثرترین جاها برای خرج کردن محاسبه است.