مقاله‌ی arXiv:2610.13823 · نگه‌داشته برای بعد
Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
همان پرسش، پاسخ متفاوت: ناپایداری بین اجراها در پردازش پرسش معنایی، حتی در دمای صفر
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Oktie Hassanzadeh, Dharmashankar Subramanian
- نهاد نویسنده‌ها
- IBM
خلاصه‌ی فارسی
مسئله
موتورهای پرسش معنایی از مدل زبانی می‌خواهند درباره‌ی تک‌تک ردیف‌ها قضاوت کند، مثلاً «کدام نظرهای مشتری منفی‌اند؟»، و بنچمارک‌ها این موتورها را با کیفیت چند اجرا در دمای صفر مقایسه می‌کنند. سؤال این است که یک اجرای دیگر چقدر نتیجه را عوض می‌کند.
روش
نویسنده‌ها بارهای کاری متنی و جدولی SemBench، LRO-Bench و UDA-Bench را با هارنس‌های خودشان دوباره اجرا کردند، هر ۱٫۲ میلیون فراخوانی مدل را ثبت کردند و اجراهای منتشرشده‌ی SemBench را دوباره تحلیل کردند.
یافته‌ها
- در دمای صفر، بسته به مدل، بین ۰٫۰۷ تا ۱۰٫۲ درصد ردیف‌ها در پنج اجرا خروجی عملگرشان عوض شد، و در یک تسک تا ۲۴ درصد.
- طرح‌های اجرا این تغییرها را به‌طور نمایی با تعداد ردیف‌هایی که پاسخ نشان می‌دهد بزرگ می‌کنند: در UDA-Bench چند درصد مقادیر استخراج‌شده عوض می‌شوند ولی حدود دو سوم پاسخ‌ها؛ در نتایج منتشرشده‌ی SemBench، ۲۱ درصد نتیجه‌های متنی بین اجراها کیفیتشان عوض شد.
- چند مقایسه‌ی سیستم‌ها و ۱۶ از ۲۸ آزمون توصیه‌های پیاده‌سازی LRO-Bench با اجراهای بنچمارک قطعی نمی‌شوند؛ رأی‌گیری ناپایداری را کم می‌کند ولی حذف نمی‌کند، و حاشیه‌ی تصمیم یا طول استدلال یک اجرا پیش‌بینی می‌کند کدام ردیف‌ها عوض می‌شوند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ بررسی به سه بنچمارک و مدل‌های آزموده‌شده محدود است.
چرا مهم است
هرکس با مدل زبانی روی داده‌ی جدولی پرسش می‌زند، فرض می‌کند دمای صفر نتیجه را تکرارپذیر می‌کند. این کار نشان می‌دهد این فرض غلط است و قاعده‌هایی برای گزارش بنچمارک و طراحی موتور می‌دهد.