Harness Evolution Hits a Ceiling: When Weight Training Should Begin

مسئله

برای بهتر کردن یک ایجنت بلندمدت دو راه هست: تکامل هارنس دور یک مدل منجمد یا آموزش وزن‌ها. معلوم نیست کدام سود را مدل آموزش‌دیده نگه می‌دارد و کدام هنوز به زمان اجرا نیاز دارد، و کِی باید از یکی به دیگری رفت.

روش

نویسنده‌ها ابتدا یک هارنس خودتکامل را گذاشتند سیستم را قوی‌تر کند، سپس هارنس‌های اولیه و تکامل‌یافته را با وزن‌های پایه و آموزش‌دیده ترکیب کردند. مسیرهای شکست‌خورده را با اولین سیگنالی که فعال می‌شود برچسب زدند تا شکست‌های فرایندی، مثل فراخوانی مسدود، حلقه و تمام شدن بودجه‌ی گام، از شکست‌های محتوایی، یعنی برنامه‌ی تحویل‌شده‌ی ضعیف، جدا شوند.

یافته‌ها

• روی DeepPlanning حلقه‌ی هارنس خودتکامل امتیاز کنارگذاشته‌ی Qwen3.5-4B را از ۰٫۱۶ به ۰٫۳۰ و Qwen3.5-9B را از ۰٫۳۲ به ۰٫۴۴ رساند؛ برای مدل ۴ میلیاردی نرخ تحویل از ۵۵ به ۹۰ درصد رسید و شکست‌های محتوایی برای وزن‌ها ماند.
• آداپتورهای LoRA آموزش‌دیده روی مسیرهای هارنس تکامل‌یافته سود را درونی کردند: زیر هارنس اولیه ۰٫۱۳ به هر دو اندازه افزودند، در مدل ۹ میلیاردی آداپتور به تنهایی با کل خط تکامل برابر شد و شکست‌های محتوایی را از یک‌چهارم مسیرها به یک در بیست رساند؛ آداپتور دارونما با پاسخ‌های جابه‌جاشده زیر مدل پایه افتاد.
• حلقه به WebArena-Lite منتقل شد با ۰٫۰۹ بهبود روی ۱۱۷ تسک دیده‌نشده، اما آنجا سود در ورودی مدل بود و آداپتورها چیزی اضافه نکردند.

محدودیت‌ها

نویسنده‌ها می‌گویند به کار بستن طبقه‌بندی به سیگنال‌های فرایندی و امتیازدهنده‌ی سطح تسک نیاز دارد، بعضی آزمایش‌ها با دو اجرا انجام شد، کنترل دارونما فقط برای مدل ۹ میلیاردی هست، مقایسه با جست‌وجوی زمان آزمون با بودجه‌ی برابر انجام نشده و مبدل برنامه به قالب داده‌ای امتیازها را حدود ۰٫۰۲۵ بالا می‌برد.