CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution

مسئله

توانایی ایجنت ترمینال هم به وزن‌های مدل بستگی دارد و هم به هارنسی که پرامپت را قالب‌بندی، ابزارها را متصل و خطاها را بازیابی می‌کند. روش‌های هم‌تکاملی هر دو را بهتر می‌کنند، اما مسیرهای تولیدشده در جست‌وجوی هارنس را اغلب یک بافر بازپخش یکپارچه می‌بینند و نادیده می‌گیرند که ارزش یک مسیر برای آموزش به هارنسی که آن را تولید کرده بستگی دارد.

روش

نویسنده‌ها یک چارچوب هم‌تکاملی متناوب ساختند که جست‌وجوی هارنس و آموزش سیاست را با تصمیم‌های ارتقای جزءبه‌جزء از هم جدا می‌کند. دستورالعمل CoTrace مسیریابی مسیرها، تطبیق منشأ و تازه‌سازی برنامه‌ی درسی را صریحاً مدیریت می‌کند: شکست‌های تکراری اجرا ساخت هارنس را هدایت می‌کنند، و آموزش سیاست فقط روی اجراهای تأییدشده‌ای انجام می‌شود که با هارنس پذیرفته‌شده تطبیق دارند، برای تنظیم دقیق نظارت‌شده، یا روی تعامل‌های آنلاین تازه برای یادگیری تقویتی.

یافته‌ها

• روی بخش ارتقای Tmax، Qwen3.5-9B را با تنظیم دقیق نظارت‌شده از ۷۸ به ۸۸ تسک حل‌شده رساند و نسخه‌ی یادگیری تقویتی آنلاین به ۹۰ رسید.
• یک مجموعه‌ی فشرده‌ی منطبق با هارنس با محاسبه‌ی خیلی کمتر از مجموعه‌های بزرگ‌تر جمع‌شده از هارنس‌های هم‌خانواده، بهبود پیوسته داد.
• ارزیابی روی Terminal-Bench ۲٫۱ و SWE-bench Lite نشان داد انتقال خارج از توزیع اساساً به سازگاری هارنس بستگی دارد و یکسان بودن هارنس آموزش و ارزیابی جلوی فروپاشی رویه‌ای زیر هارنس‌های بیگانه را می‌گیرد.

محدودیت‌ها

نویسنده‌ها می‌گویند شواهد از تعداد کمی زنجیره‌ی هم‌تکاملی می‌آید که هرکدام یک‌بار اجرا شده، و بخش ارتقا ۱۰۲ تسک دارد که ارزیابی‌های تک حدود دو تسک نوسان دارند، پس فاصله‌های یک یا دو تسکی رتبه‌بندی نیستند.