Dynamic LLM Routers are Often Misguided

مسئله

مسیریاب‌های پویا قول می‌دهند هزینه‌ی استنتاج را با فرستادن هر پرسش به ارزان‌ترین مدلی که درست پاسخ می‌دهد کم کنند. اما معلوم نیست مسیریاب‌های تجاری واقعاً از یک انتخاب ساده بهتر عمل می‌کنند یا نه.

روش

نویسنده‌ها شش مسیریاب تجاری را در ۱۴ تنظیم روی یک بنچمارک متنوع با هشت دسته‌ی تسک تحلیل کردند و آن‌ها را با مسیریابی که با هزینه‌ی برابر تصادفی بین دو مدل خوب‌انتخاب‌شده انتخاب می‌کند مقایسه کردند. سپس الگوهای شکست را ردیابی و یک روش ارزیابی جایگزین و یک مسیریاب ساده‌ی دومدلی به عنوان اثبات مفهوم طراحی کردند.

یافته‌ها

• هیچ‌کدام از مسیریاب‌ها از مسیریاب تصادفی بین دو مدل خوب با هزینه‌ی برابر بهتر نبود و برخی بیش از ۱۰ واحد درصد بدتر بودند.
• چهار الگوی رایج پیدا شد: کوری نسبت به دشواری، وارونگی طول، تطبیق معنایی به جای دشواری، و فهرست مدل نابهینه؛ سه‌تای اول همان چیزی است که هدف استاندارد کارایی پارتوی هزینه و دقت پاداش می‌دهد.
• دو فرض توجیه‌کننده‌ی فهرست‌های بزرگ مدل، یعنی ریزدانگی و تخصص مدل‌ها، از نظر تجربی برقرار نبود.
• مسیریاب ساده‌ی دومدلی هر چهار الگو را دور زد، اما بهبودش نسبت به مسیریابی تصادفی محدود بود چون یک فهرست خوب جای کمی برای مسیریابی می‌گذارد.

محدودیت‌ها

نویسنده‌ها می‌گویند فقط مسیریابی تک‌نوبتی را بررسی کرده‌اند، در حالی که در گفت‌وگوی چندنوبتی با ذخیره‌ی حافظه‌ی کلید و مقدار، عوض کردن مدل رایگان نیست، و راه‌حلی برای مسیریابی چندنوبتی پیشنهاد نمی‌دهند.