Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

مسئله

مدل‌های زبانی بیشتر و بیشتر با چند پاداش قابل بررسی هم‌زمان آموزش می‌بینند؛ مثلاً درستی و قالب یک فراخوانی ابزار، یا هر کدام از محدودیت‌های یک دستور پیچیده. روش GDPO هر پاداش را جدا نرمال می‌کند، اما سیگنال هر پاداش را به طور یکسان روی کل پاسخ پخش می‌کند، در حالی که هر بررسی‌کننده فقط چند جای مشخص پاسخ را چک می‌کند. یعنی توکن‌هایی که به قالب ربطی ندارند هم برای قالب پاداش یا جریمه می‌گیرند.

روش

روش MRTPO سیگنال هر پاداش را به توکن‌های مرتبط با آن می‌دهد، بدون مدل کمکی یا برچسب‌گذاری توکنی. برای هر پاداش، مدل پاسخ خودش را دو بار مرور می‌کند: یک بار با اطلاعاتی که بررسی‌کننده‌ی آن پاداش چک می‌کند و یک بار بدون آن. فاصله‌ی دو توزیع پیش‌بینی توکن بعدی در هر جا نشان می‌دهد آن توکن چقدر به آن پاداش مربوط است، و سیگنال بر همین اساس دوباره تقسیم می‌شود.

یافته‌ها

• در تبدیل متن به SQL، پیروی از دستورهای چندمحدودیتی و فراخوانی ابزار، روی شش مدل همیشه از GRPO و GDPO بهتر بود.
• به دقت نهایی GDPO با قدم‌های آموزشی کمتری رسید؛ یعنی سریع‌تر همگرا شد.
• هر پاداشی که اطلاعات قابل بررسی دارد، مثل جواب مرجع، پیام خطای اجرا یا یک بند از معیار ارزیابی، را می‌شود این‌طور به توکن‌هایش نسبت داد.

محدودیت‌ها

نویسنده‌ها می‌گویند روش فقط برای پاداش‌هایی کار می‌کند که اطلاعات بررسی‌شان را بشود به شکل متن نوشت؛ پاداشی مثل طول پاسخ این‌طور قابل محلی‌سازی نیست. آزمایش‌ها روی مدل‌های ۱٫۵ تا ۷ میلیاردی و با یک مقدار ثابت برای شدت تخصیص انجام شده، و پاداش‌هایی که یک مدل زبانی داوری‌شان می‌کند آزموده نشده‌اند.