TokenRouter: Efficient Serving System for Token-Level LLM Routing
توکن‌روتر: سیستم سرویس‌دهی کارآمد برای مسیریابی در سطح توکن بین چند مدل زبانی
مسیریابی بین مدل‌ها کار استنتاج را بین چند مدل پخش می‌کند و تعادل هزینه و کیفیت را بهتر می‌کند. مسیریابی درشت‌دانه در سطح جلسه یا پرسش در سیستم‌های تولیدی رایج است و کارهای الگوریتمی اخیر نشان داده‌اند مسیریابی ریزدانه در سطح توکن سود بیشتری دارد، مثلاً مدل کو