Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics

مسئله

یادگیری تقویتی روبریک‌محور مدل‌ها را جایی آموزش می‌دهد که تأییدکننده‌ای وجود ندارد: یک داور هر معیار روبریک را بررسی می‌کند و حکم‌ها معمولاً با جمع وزن‌دار به پاداش تبدیل می‌شوند. در جمع، معیارها یکدیگر را جبران می‌کنند: سیاستی که تنها تصمیم مهم را از دست بدهد می‌تواند امتیاز را با توصیه‌هایی که کسی نخواسته پس بگیرد. در مشاوره‌ی بالینی، چنین سیاستی امتیاز بیشتر و پاسخ بدتر دارد؛ مثلاً همه‌ی نکته‌های سبک زندگی را می‌گوید اما ارجاع فوری به پزشک را فراموش می‌کند.

روش

روش ProRubric آنچه معیارها می‌خواهند را نگه می‌دارد و نحوه‌ی تجمیعشان را تغییر می‌دهد: یک چک‌لیست را به چند بُعد سطح پروتکل گروه‌بندی می‌کند و یک بُعد فقط وقتی حساب می‌شود که همه‌ی معیارهایش برقرار باشد و بند شکستش فعال نشود. گروه‌بندی یک بار و آفلاین انجام می‌شود و بهینه‌ساز تغییری نمی‌کند.

یافته‌ها

• با جمع وزن‌دار، پوشش روبریک بالا رفت در حالی که مناسب بودن روی معیارهای پزشک کنارگذاشته از مدل آموزش‌ندیده هم پایین‌تر افتاد.
• همان معیارها بدون تغییر یک کلمه، وقتی طوری گروه‌بندی شدند که باید با هم برقرار باشند، یک سوم این افت را جبران کردند، در حالی که کوتاه کردن پاسخ‌ها تقریباً هیچ اثری نداشت.
• این روش مناسب بودن را بدون از دست دادن پوشش ۱۰٫۸ امتیاز بالا برد و در هر دو مقیاس بهترین میانگین هفت بنچمارک را داشت.

محدودیت‌ها

نویسنده‌ها می‌گویند مشاوره‌ی بالینی چندنوبتی است و پرسش‌های روشن‌کننده در آن ضروری‌اند، اما این کار پاسخ‌های تک‌نوبتی را با یک داور زبانی کالیبره‌شده با پزشکان ارزیابی می‌کند نه با کارآزمایی بالینی.