StateHarness: Maintaining Evolving Project State for Long-Horizon Coding Agents

مسئله

کدنویسی طولانی‌مدت نیاز دارد ایجنت تصویری در حال تحول از پروژه نگه دارد: الان چه مسئله‌ای حل می‌شود، چه چیزی یاد گرفته یا تغییر داده شده، کدام فایل‌های دیگر ممکن است متأثر شوند و چه کاری مانده است. وقتی این اطلاعات در تاریخچه‌ی رو به رشد پراکنده است، ویرایش‌های محلی از پیامدهای بعدی‌شان جدا می‌شوند؛ مثلاً ایجنت نام یک تابع را عوض می‌کند و فراموش می‌کند جاهای دیگری که آن را صدا می‌زنند را هم به‌روز کند.

روش

چارچوب StateHarness وضعیت پروژه را بدون تغییر وزن‌های مدل نگه می‌دارد. ایجنت مسئله و فرضیه‌ی فعلی، یافته‌ها و تصمیم‌های مهم، روابط کشف‌شده در ریپو و کارهای ناتمام را ثبت می‌کند. محیط اجرایی برای ثبت به‌روزرسانی‌ها یادآوری می‌کند، فراخواننده‌ها، تست‌ها و مستنداتی را که ممکن است از یک تغییر متأثر شوند جست‌وجو می‌کند و یک خلاصه‌ی کاری فشرده برای تصمیم‌های بعدی نگه می‌دارد. وقتی سیگنال‌های رفتاری انباشته شوند، یک جلسه‌ی تشخیصی جدا تاریخچه را مرور می‌کند و شواهد نادیده‌مانده را نشان می‌دهد.

یافته‌ها

• روی RefactorBench، تکمیل کل زنجیره از ۲۹٫۴ به ۳۵٫۳ درصد و دقت بررسی پاک‌سازی از ۸۷ به ۹۵٫۴ درصد رسید.
• روی پنج تسک مهندسی نرم‌افزار LHTB، میانگین پاداش از ۰٫۴۲۷ به ۰٫۵۷۶ رسید و با هزینه‌ی اجرای خیلی کمتر از LongHorizon-Harness بهتر بود.
• روی ChainSWE، نرخ رفع باگ از ۳۵٫۱ به ۳۹٫۵ درصد رسید و بدهی باقی‌مانده از ۶۰ به ۴۳ مورد کم شد، هرچند خرابی تست‌هایی که قبلاً پاس می‌شدند بیشتر شد.

محدودیت‌ها

نویسنده‌ها می‌گویند نگه‌داشتن وضعیت هزینه‌ی اجرایی دارد و بین معیارهای سازگاری بده‌بستان ایجاد می‌کند؛ به خاطر سپردن یک مسئله‌ی حل‌نشده هم تضمین نمی‌کند ایجنت پیش از توقف آن را حل کند.