Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents

مسئله

هر حلقه‌ی خودبهبودی ایجنت صدها بار می‌پرسد «آیا تغییر واقعاً ایجنت را بهتر کرد؟» و پاسخ از یک تأییدکننده می‌آید. در تسک‌های باز چنین تأییدکننده‌ای وجود ندارد، پس حلقه به یک معیار دست‌نوشته یا داور مدل زبانی ساده سپرده می‌شود که خروجی مدلی شبیه خودش را داوری می‌کند، و این راه را برای تقلب در پاداش و نقطه‌کورهای مشترک باز می‌کند.

روش

نویسنده‌ها خود تأییدکننده را موضوع تکامل کردند: یک عبارت قابل بازرسی روی آشکارسازهای کوچک و عمدتاً قطعی کاستی، که از خوشه‌های شکست ساخته می‌شوند، هنگام تولد دروازه‌گذاری می‌شوند و بر اساس توافق با یک مجموعه‌ی مرجع ده‌موردی لنگرشده به‌علاوه‌ی اجماع روی خروجی‌های بی‌برچسب انتخاب می‌شوند، هرگز بر اساس امتیاز ایجنت. روش Double Ratchet این تأییدکننده را با یک حلقه‌ی مهارت با مدیریت چرخه‌ی عمر جفت می‌کند.

یافته‌ها

• روی MBPP+ توافق کنارگذاشته را در هر بذر ۰٫۲۱ بیشتر از ترکیب اولیه‌ی دست‌نوشته کرد و از داور مدل زبانی ساده‌ای که درون خودش دارد جلو زد.
• حذف محافظ‌های لنگر تأییدکننده را به داوری بی‌محتوا که همیشه قبول می‌کند تبدیل کرد، اما همین تأییدکننده‌ی فروپاشیده مهارت‌ها را به همان خوبی آموزش داد؛ پس امتیاز تسک پایین‌دستی نمی‌تواند یک تأییدکننده‌ی خودتکامل را تأیید کند.
• در تولید کد، تبدیل متن به SQL سازمانی و تولید گزارش بدون مرجع، این روش ۸۸ تا ۱۱۰ درصد بهبودی را که داده‌ی درست یا یک معیار دست‌نوشته به همان حلقه می‌دهد حفظ کرد.
• وقتی مهارت‌های تکامل‌یافته از معیار گزارش سوءاستفاده کردند، یک داور بیرونی آن را گرفت و یک آشکارساز اضافه آن را رفع کرد؛ خود داور هم تا وقتی قرارداد تسک را نگرفت اشتباه می‌کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند این یک مطالعه‌ی سازوکار است نه نتیجه‌ی مقیاس: سه خانواده تسک، یک خانواده مدل، چند صد دور، مجموعه‌های کنارگذاشته‌ی چند ده‌موردی و یک مدل قوی‌تر به عنوان داور بیرونی به جای هیئت یا مطالعه‌ی انسانی.