مقاله‌ی arXiv:2610.18766 · نگه‌داشته برای بعد
Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges
مدل پاداش با معیارهایی که فقط از خود تسک ساخته می‌شوند و داوری که با ابزار شواهد جمع می‌کند
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Tianci Liu, Haoyu Wang
- نهاد نویسنده‌ها
- University of Tennessee; University at Albany
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مدل‌های پاداش مبتنی بر معیار، پاسخ‌ها را با معیارهای صریح می‌سنجند. اما روش‌های موجود اغلب معیارها را از پاسخ‌های نامزد مشاهده‌شده استخراج می‌کنند که سوگیری می‌سازد و ممکن است نیازهای تسک را جا بیندازد. داورهایشان با قیدهای مکانیکی، مثل «پاسخ دقیقاً ۵۰ کلمه باشد»، فقط با خواندن مشکل دارند، و داورهای جفتی رایج فقط ترجیح نسبی می‌دهند که استفاده‌ی مستقیم در بهینه‌سازی سیاست را سخت می‌کند.
روش
مدل ReVeR قاعده‌های سخت و اصول درجه‌بندی‌شده را فقط با استدلال درباره‌ی دستور استخراج می‌کند و هر پاسخ را مستقل با داوری مجهز به ابزار ارزیابی می‌کند. هر دو جزء با تقطیرِ بدون برچسب آموزش می‌بینند، که در آن برچسب‌های ترجیح فقط خروجی معلم را فیلتر می‌کنند؛ نتیجه، مجموعه‌داده‌ی بزرگ ReVeR-Traces از مسیرهای استدلال معیار و داوری است.
یافته‌ها
- در میانگین دقت ترجیح، به‌ویژه در پیروی از دستور، و در مقیاس‌دهی زمان اجرا و بهینه‌سازی سیاست پایین‌دستی، از مدل‌های پاداش معیاری جفتی بهتر بود.
- یادگیری تقویتی مولد معیار، دقت ترجیح را بالا برد ولی وفاداری معیارها را کم کرد.
- دقت ترجیح بالاتر لزوماً به سیاست پایین‌دستی بهتر تبدیل نمی‌شود؛ وفاداری معیار، دقت ترجیح و سودمندی پایین‌دستی ویژگی‌های جدایی‌اند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ خود یافته‌ها نشان می‌دهند دقت ترجیح، معیار کافی برای کیفیت مدل پاداش نیست.
چرا مهم است
مدل پاداش تعیین می‌کند مدل چه چیزی یاد بگیرد. این کار نشان می‌دهد معیاری که مستقل از پاسخ‌ها ساخته شود و داوری که واقعاً بررسی کند، پاداش قابل اعتمادتری می‌دهد، و هشدار می‌دهد که یک عدد دقت همه چیز را نشان نمی‌دهد.