Harness-Zero: Harness Distillation via Agent-as-Harness

مسئله

هارنس‌های ایجنت می‌توانند کارایی را بسیار بالا ببرند، اما سودشان به هارنس در زمان استقرار وابسته می‌ماند. چون بهترین هارنس بین حوزه‌ها، نمونه‌ها و مدل‌ها فرق می‌کند، یک ایجنت عمومی یا باید به یک هارنس مشترک نابهینه بسنده کند یا بین تعداد رو به رشدی از هارنس‌های تخصصی مسیریابی کند.

روش

نویسنده‌ها تقطیر هارنس را بررسی کردند: استفاده از یک هارنس بهینه‌شده برای حوزه یا نمونه به عنوان راهنمای زمان آموزش و انتقال رفتارهای آن به وزن مدل تا زیر یک هارنس هدف ثابت باقی بماند. چون دو هارنس فضای کنش و اطلاعات متفاوت دارند، روش Harness-Zero از «ایجنت به عنوان هارنس» استفاده می‌کند: یک ایجنت هدایت‌شده با هارنس بهینه، پاسخ‌های دانش‌آموز را پیش از اجرا در فضای کنش هارنس هدف اصلاح می‌کند و مسیرهای حاصل برای تنظیم دقیق به کار می‌روند.

یافته‌ها

• برای مدل‌های پیشرو با همان هارنس تکامل‌یافته، ایجنت به عنوان هارنس از کد به عنوان هارنس بهتر بود.
• با حذف هارنس تخصصی در استقرار، میانگین کلان موفقیت مدل پایه را از ۲۳٫۳ به ۴۴٫۳ درصد رساند، حتی بالاتر از ۴۱٫۷ درصدی که با خود آن هارنس داشت.
• رفتارهای ناشی از هارنس را که در مدل پایه نبودند با میانگین ۸۲٫۳ درصد در ۲۸ الگو در سه حوزه بازیابی کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند روش به یک مدل توانا برای نقش هارنس نیاز دارد و با مدل‌های ضعیف‌تر بازبینی می‌تواند مضر شود، بازبینی هر پیشنهاد هزینه‌ی جمع‌آوری داده را بالا می‌برد (مثلاً تأخیر میانگین را ۲٫۴ برابر می‌کند)، و تنظیم دقیق ممکن است همه‌ی رفتارها را کامل درونی نکند.