مقاله‌ی arXiv:2609.32459 · در صف خبرنامه
Beyond the Model: Demystifying Harness Effects in Software Engineering Agents
فراتر از مدل: رمزگشایی اثر هارنس در ایجنت‌های مهندسی نرم‌افزار
- تاریخ
- (۴ مهر ۱۴۰۵) 2026-09-26 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Haichuan Hu, Quanjun Zhang, Shengcheng Yu, Zhifei Chen, Tianyu Luo, Chunrong Fang, Zhenyu Chen, Liang Xiao
- نهاد نویسنده‌ها
- Nanjing University of Science and Technology; Technical University of Munich; Nanjing University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
کارایی ایجنت‌های مهندسی نرم‌افزار فقط به مدل پایه بستگی ندارد و هارنس شکل می‌دهد ایجنت چطور با مخزن تعامل کند، کنش اجرا کند و راه‌حل را بسنجد. اما نقش طراحی هارنس، به‌ویژه بین مدل‌ها، تسک‌ها و اجزای مختلف هارنس، به اندازه‌ی کافی فهمیده نشده است.
روش
نویسنده‌ها دو هارنس نماینده، mini-SWE-agent و OpenCode، را با ده مدل از دو خانواده‌ی وزن‌باز Qwen و DeepSeek روی سه بنچمارک SWE-bench Pro، ProgramBench و GitTaskBench ارزیابی کردند. سپس هارنس ماژولار سبک NanoHarness را روی پایه‌ی mini-SWE-agent ساختند و پنج جزء نماینده را تحلیل کردند: ثبت ابزار، فشرده‌سازی کانتکست، برنامه‌ریزی صریح، زیرایجنت‌ها و مهارت‌های تنبل.
یافته‌ها
- اثربخشی هارنس هم‌زمان به توانایی مدل و نوع تسک بستگی دارد: هارنس‌های پیچیده با قوی‌تر شدن مدل در تعمیر مشکل به سبک SWE سود حاشیه‌ای کمتری دارند، اما برای مدل‌های قوی‌تر در تسک‌های پیچیده‌تر و باز سطح مخزن مفیدند.
- روی ProgramBench، استفاده‌ی ساختاریافته از ابزار و زیرایجنت‌های ویژه‌ی تسک پایدارترین بهبود را دادند، در حالی که فشرده‌سازی کانتکست و زیرایجنت‌های عمومی می‌توانستند به تولید مخزن آسیب بزنند.
- ترکیب اجزا در NanoHarness کارایی را روی Qwen3.7-Max و DeepSeek-V4-Pro به ترتیب ۷٫۳۷ و ۶٫۲۱ واحد درصد نسبت به
mini-SWE-agentبالا برد و بیشتر بهبود هارنس‌های تجاری را بازیابی کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ مطالعه به مدل‌های دو خانواده‌ی وزن‌باز محدود است.
چرا مهم است
انتخاب هارنس می‌تواند به اندازه‌ی انتخاب مدل مهم باشد. این کار نشان می‌دهد کدام اجزای هارنس واقعاً کمک می‌کنند و کدام می‌توانند در بعضی تسک‌ها آسیب بزنند.