Harness-Delta Attribution: Dissecting Gains From Harness Evolution

مسئله

تکامل هارنس یعنی پرامپت‌ها، اسکیل‌ها، ابزارها و کد هماهنگی دور یک مدل ثابت را خودکار و پشت سر هم بهینه کنی تا روی یک مجموعه‌ی جست‌وجو نمره بالاتر بگیرد، بدون آن‌که وزن‌های مدل عوض شود. سؤال این است که چه سهمی از این بهبود به خاطر جا افتادن روی همان بنچمارک است، چه سهمی به خاطر محاسبه‌ی بیشتر در لحظه‌ی اجرا، و چه سهمی واقعاً به کارهای دیگر تعمیم پیدا می‌کند.

روش

نویسنده‌ها پروتکل ارزیابی HDA را ساخته‌اند که بهبود حاصل از تکامل را به سه بخش تقسیم می‌کند: بیش‌برازش ناشی از ساخته‌هایی که فقط به درد همان مجموعه می‌خورند، بخشی که با صرف محاسبه‌ی بیشتر توضیح داده می‌شود، و باقی‌مانده که سقف بهبود قابل تعمیم است. این پروتکل را روی ۱۱ مدل اجراکننده و سه فریم‌ورک تکامل هارنس در ریاضی، کدنویسی، خلاقیت و کارهای ایجنتی اجرا کرده‌اند.

یافته‌ها

• در ۲۱ وضعیتی که بهبود معناداری روی مجموعه‌ی جست‌وجو داشتند، به طور میانگین ۵۴ درصد بهبود از بیش‌برازش و ۱۴ درصد از محاسبه‌ی بیشتر می‌آمد؛ در ۱۴ وضعیت مجموع این دو از نصف بیشتر بود.
• بهبود روی مجموعه‌ی جست‌وجو اغلب به تسک‌های کنار گذاشته‌شده منتقل نمی‌شود. مثلاً یک هارنس روی سؤال‌هایی که یک گزینه‌ی خاص داشتند ۵۳ از ۵۳ درست جواب داد، ولی روی بقیه فقط ۲۲ از ۷۱.
• سیگنال‌های اعتبارسنجی معمول برای جلوگیری از بیش‌برازش کافی نیستند.

محدودیت‌ها

نویسنده‌ها می‌گویند مقدار باقی‌مانده و انتقال به تسک‌های جدید بین تسک‌ها، مدل‌ها و فریم‌ورک‌ها خیلی فرق می‌کند، پس عدد باقی‌مانده فقط یک سقف است، نه اندازه‌ی دقیق تعمیم.