مقاله‌ی arXiv:2608.26762 · منتشرشده در کانال
Equal Ranking Quality, Different Decisions: Measuring and Reducing Order Dependence in LLM Scorers
کیفیت رتبه‌بندی برابر، تصمیم‌های متفاوت: سنجش و کاهش وابستگی به ترتیب در امتیازدهنده‌های مدل زبانی
- تاریخ
- (۵ شهریور ۱۴۰۵) 2026-08-27 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Markus Frohmann, Mahdiyar Ali Akbar Alavi, Elizabeth Lingg, Navid Rekabsaz
- نهاد نویسنده‌ها
- Thomson Reuters Labs; University of Toronto; Vector Institute
خلاصه‌ی فارسی
مسئله
در بازرتبه‌بندی متن، رتبه‌بندی پاسخ و پرسش و پاسخ چندسندی، مدل‌های زبانی می‌توانند چند نامزد را هم‌زمان در یک پرامپت امتیاز دهند. این امتیازدهنده‌ها بر اساس کیفیت رتبه‌بندی انتخاب می‌شوند، اما امتیازهایشان یک تصمیم را تعیین می‌کند: کدام اسناد از آستانه رد می‌شوند، پاسخ‌دهنده چه می‌گوید یا کدام جفت انتخاب‌شده و ردشده وارد آموزش ترجیح می‌شود. چون نامزدها یک پرامپت مشترک دارند، جابه‌جا کردن ترتیبشان امتیازها را تغییر می‌دهد، در حالی که همان پرسش روی همان نامزدها باید همان تصمیم را بدهد.
روش
نویسنده‌ها وابستگی تصمیم به ترتیب را در سه تسک سنجیدند و چند تغییر زمان پرامپت را آزمودند. سپس روش OC-SFT را معرفی کردند که این وابستگی را در وزن‌ها با جریمه کردن ناسازگاری امتیازهای یک نامزد در ترتیب‌های مختلف کاهش می‌دهد، و آن را با تقطیر میانگین‌گرفته روی جایگشت‌ها مقایسه کردند.
یافته‌ها
- در بازرتبه‌بندی متن، پنج امتیازدهنده‌ی آموزش‌دیده که در nDCG@۱۰ فقط ۰٫۰۱۰ فاصله داشتند، با جابه‌جایی ترتیب مجموعه‌هایی نگه داشتند که فقط ۰٫۶۶ تا ۰٫۸۴ هم‌پوشانی داشتند.
- هیچ تغییر زمان پرامپتی این وابستگی را حل نکرد؛ تنها تغییری که کیفیت رتبه‌بندی را بهتر کرد، پایداری تصمیم را به‌طور قابل اندازه‌گیری بهتر نکرد.
- روش OC-SFT کیفیت رتبه‌بندی را حفظ کرد و در هر سه تسک در همه‌ی معیارهای پایداری تصمیم پیشتاز بود؛ روی ۱۲ مدل پایه هم از تقطیر میانگین‌گرفته پایدارتر بود.
محدودیت‌ها
نویسنده‌ها می‌گویند جایگشت‌های سنجیده‌شده همان ترتیبی نیستند که در سرویس واقعی از مرحله‌ی اول می‌آید، جایگشت‌ها تصادفی یکنواخت‌اند پس پراکندگی گزارش‌شده حالت معمول است نه بدترین حالت، و آستانه، پاسخ‌دهنده و مدل ترجیح ثابت مانده‌اند پس در خط‌لوله‌ای که همه با هم بازآموزی شوند کاهش ممکن است کوچک‌تر باشد.
چرا مهم است
دو امتیازدهنده با امتیاز رتبه‌بندی یکسان ممکن است تصمیم‌های بسیار متفاوتی بگیرند. این کار نشان می‌دهد مقایسه‌ی امتیازدهنده‌ها باید پایداری تصمیم را هم گزارش کند و راهی برای بهتر کردن آن می‌دهد.