مقاله‌ی arXiv:2609.20804 · در صف خبرنامه
An Empirical Study of Harness Design for Coding Agents
مطالعه‌ی تجربی طراحی هارنس برای ایجنت‌های کدنویسی: کدام جزء واقعاً مهم است؟
- تاریخ
- (۲۶ شهریور ۱۴۰۵) 2026-09-17 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, Kaiqiang Song, Fei Liu, Hamed Zamani, Xiaoyang Wang
- نهاد نویسنده‌ها
- UMass Amherst; Emory University; UNC Charlotte; Zoom Video Communications
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
هارنس‌های کدنویسی شکل می‌دهند ایجنت‌ها چطور توانایی مدل را به کارایی بلندمدت مهندسی نرم‌افزار تبدیل کنند، اما کارهای موجود معمولاً هارنس‌ها را سیستم‌های یکپارچه ارزیابی می‌کنند و اثربخشی تک‌تک اجزا نامعلوم می‌ماند.
روش
نویسنده‌ها یک هارنس کدنویسی سبک با حلقه‌ی اجرای ثابت ساختند و سه جزء را تغییر دادند: برنامه‌ریزی، فضای کنش و مدیریت کانتکست. با چهار مدل روی SWE-Bench Verified و Terminal-Bench ۲٫۱، ۱۷۶ تنظیم هم‌تراز شامل پنج راهبرد مدیریت کانتکست، چهار بودجه‌ی پنجره‌ی کانتکست و آزمایش‌های حذفی هدفمند برنامه‌ریزی و فضای کنش ارزیابی شد.
یافته‌ها
- مدیریت کانتکست با تنگ‌تر شدن بودجه‌ی پنجره ارزشمندتر می‌شود و بیشتر سودش از جلوگیری از شکست‌های سرریز کانتکست است.
- حذف قاعده‌محور پیش از خلاصه‌سازی با مدل بهترین کارایی کلی را داشت، و قابل بازیابی کردن محتوای حذف‌شده ماشین‌آلاتی اضافه کرد که مدل‌ها به ندرت استفاده کردند و دقت را بهتر نکرد.
- برنامه‌ریزی برای مدل‌های ضعیف‌تر داربست دقت است و برای مدل‌های قوی‌تر صرفه‌جویی در هزینه، با تغییر کم در دقت.
- ابزارهای از پیش تعریف‌شده برای مدل‌هایی با مهارت ضعیف‌تر در bash مفیدند، اما مدل‌های توانا در bash با رابط فقط bash مؤثر و با هزینه‌ی بسیار کمتر کار می‌کنند.
محدودیت‌ها
نویسنده‌ها می‌گویند نتایج اثر شرطی اجزا و پیاده‌سازی‌های بررسی‌شده را تخمین می‌زنند نه یک هارنس بهینه‌ی جهانی؛ برنامه‌ریزی با یک پرامپت و سازوکار به‌روزرسانی و مدیریت کانتکست با یک سیاست آستانه‌ای با تنظیم ثابت پیاده شده است.
چرا مهم است
طراحان هارنس معمولاً اجزا را بدون سنجش جداگانه اضافه می‌کنند. این کار راهنمایی عملی می‌دهد که هر جزء برای کدام مدل و بودجه ارزش دارد.