مقاله‌ی arXiv:2610.02586 · منتشرشده در کانال
Labels Override Definitions in Jev-Style Typed Decision Models
برچسب‌ها بر تعریف‌ها غلبه می‌کنند: سوگیری برچسب گزینه در مدل‌های تصمیم نوع‌دار
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Seyedarmin Azizi, Erfan Baghaei Potraghloo, Massoud Pedram
- نهاد نویسنده‌ها
- University of Southern California (USC)
خلاصه‌ی فارسی
مسئله
مدل تصمیم نوع‌دار به یک پرسش ثابت درباره‌ی ورودی با دادن احتمال برای چند گزینه‌ی تعریف‌شده توسط فراخوان پاسخ می‌دهد. هر گزینه یک برچسب کوتاه و یک تعریف نوشته دارد که توسعه‌دهنده قاعده را در آن بیان می‌کند. این رابط برای مسیریابی، نظارت محتوا و اولویت‌بندی استفاده می‌شود؛ سؤال این است که احتمال از تعریف‌ها پیروی می‌کند یا از برچسب‌ها.
روش
نویسنده‌ها پیاده‌سازی‌های باز را که وزن‌هایشان قابل بررسی و وصله است بررسی کردند: چهار مدل تصمیم نوع‌دار وزن‌باز، سه روش خواندن پاسخ از ستون فقرات Qwen2.5، یازده تسک دسته‌بندی، و مجموعه‌ی مصنوعی مسیریابی PolicyBench که قاعده فقط در تعریف‌ها آمده است.
یافته‌ها
- پاسخ عمدتاً از برچسب‌ها پیروی کرد: حذف همه‌ی تعریف‌ها دقت را تغییر نداد (۰٫۸۵۵۹ در برابر ۰٫۸۴۸۷)، و تغییر نام گزینه‌ها به A و B دقت را ۰٫۱۵۱۱ بالا برد.
- یک سیستم تحت تأثیر نبود و تفاوت دو کد پایه در یک عبارت بود: یکی هر گزینه را «برچسب: تعریف» می‌نوشت و دیگری فقط تعریف را.
- تغییر همین عبارت در هر دو جهت بدون تغییر هیچ وزنی، سه نقطه‌ی ذخیره را دقیقاً بی‌تغییر کرد و در سیستم دیگر اثر را ایجاد کرد که دقتش وقتی برچسب با تعریف تناقض داشت از ۰٫۸۵۱۱ به ۰٫۲۲۸۱ افتاد.
محدودیت‌ها
نویسنده‌ها می‌گویند مدل تجاری میزبانی‌شده‌ی اصلی را نسنجیده‌اند و ادعایشان به پیاده‌سازی‌های وزن‌باز محدود است، و مجموعه‌ی PolicyBench مصنوعی و قالبی است که دقت برچسب را به قیمت طبیعی بودن می‌خرد.
چرا مهم است
توسعه‌دهنده‌ها فکر می‌کنند با نوشتن تعریف دقیق، رفتار دسته‌بند را کنترل می‌کنند. این کار نشان می‌دهد ممکن است مدل اصلاً تعریف را نخواند و یک خط کد قالب‌بندی همه چیز را تغییر دهد.