Self-Evolving Coding Agents via Harness-Policy Optimization

مسئله

کارایی یک ایجنت کدنویسی به دو چیز بستگی دارد: مدل (سیاست) و هارنس، یعنی پرامپت‌ها، ابزارها و قاعده‌هایی که تعامل مدل با محیط را شکل می‌دهند. این دو به هم وابسته‌اند. هارنسی که برای یک نسخه از مدل تنظیم شده، ممکن است ضعف‌های نسخه‌ی بعدی را هدف نگیرد؛ و مدلی که با یک هارنس ثابت آموزش می‌بیند، فقط از مسیرهایی یاد می‌گیرد که همان هارنس تولید می‌کند. بهینه کردن فقط یکی از این دو کافی نیست.

روش

روش Self-HPO این دو را به نوبت بهتر می‌کند و خود مدل را پیشنهاددهنده‌ی هارنس قرار می‌دهد. در هر دور، اول مدل شکست‌های خودش را تحلیل می‌کند و هارنس‌های تازه پیشنهاد می‌دهد (قدم هارنس). بعد مدل با هارنس انتخاب‌شده با یادگیری تقویتی آموزش می‌بیند (قدم سیاست). تسک‌هایی که در آموزش سخت بودند، مجموعه‌ی جست‌وجوی هارنس در دور بعد می‌شوند، تا بهبود هارنس همیشه سراغ ضعف‌های تازه‌ی مدل برود.

یافته‌ها

• در سه بنچمارک کدنویسی، از روش‌هایی که فقط هارنس یا فقط مدل را بهتر می‌کنند جلو زد و نرخ حل میانگین مدل Qwen3.5-35B-A3B را از ۵۷٫۸ به ۶۴٫۸ درصد رساند؛ این بهبود در تسک‌های بیرون از توزیع آموزش هم دیده شد.
• هر کدام از دو جزء بهینه‌شده حتی کنار نسخه‌ی پایه‌ی جزء دیگر هم سودش را نگه می‌دارد، و سود ترکیب دو جزء از جمع سود جداگانه‌شان بیشتر است.
• قابلیت اطمینان (موفقیت در اولین تلاش) و سقف توانایی (موفقیت در چند تلاش) هر دو بهتر شد، و با یک مدل قوی‌تر بیرونی مثل Opus ۴٫۸ به عنوان پیشنهاددهنده‌ی هارنس، نتیجه باز هم بهتر شد.

محدودیت‌ها

نویسنده‌ها محدودیت مشخصی در چکیده ذکر نکرده‌اند؛ آزمایش‌ها روی سه بنچمارک کدنویسی و عمدتاً با یک مدل پایه انجام شده است.