TokenRouter: Efficient Serving System for Token-Level LLM Routing

مسئله

مسیریابی بین مدل‌ها کار استنتاج را بین چند مدل پخش می‌کند و تعادل هزینه و کیفیت را بهتر می‌کند. مسیریابی درشت‌دانه در سطح جلسه یا پرسش در سیستم‌های تولیدی رایج است و کارهای الگوریتمی اخیر نشان داده‌اند مسیریابی ریزدانه در سطح توکن سود بیشتری دارد، مثلاً مدل کوچک بیشتر توکن‌ها را تولید کند و فقط توکن‌های سخت به مدل بزرگ برود. اما سیستم‌های فعلی برای یک مدل ساخته شده‌اند و زیر مسیریابی توکنی دچار ناهمگامی شدید گام‌ها، تأخیر در پذیرش دسته و پیچیدگی پیاده‌سازی بالا می‌شوند.

روش

سیستم TokenRouter از اصل «برنامه‌نویسی درخواست‌محور، اجرای مدل‌محور» پیروی می‌کند: توسعه‌دهنده منطق مسیریابی را از دید یک درخواست می‌نویسد و زمان اجرا برای هر مدل یک زیرسرور راه می‌اندازد و درخواست‌ها را ناهمگام توزیع می‌کند. هر زیرسرور یک زمان‌بند دسته‌بندی تأخیری دارد که ابرپارامترهای بهینه‌اش از یک مدل ریاضی توان عملیاتی سیستم به دست می‌آید.

یافته‌ها

• در الگوریتم‌های مسیریابی، بارهای کاری و جفت‌مدل‌های مختلف، توان عملیاتی رمزگشایی را ۲٫۰۱ تا ۶۴٫۱۵ برابر سیستم‌های موجود بالا برد.
• طراحی سیستم الگوریتم مسیریابی را از بهینه‌سازی سرویس‌دهی جدا می‌کند: توسعه‌دهنده معنای مسیریابی را با یک رابط ساده‌ی درخواست‌محور بیان می‌کند و اجرای ناهمگام مدل‌ها را زمان اجرا مدیریت می‌کند، که به گفته‌ی نویسنده‌ها پایه‌ای برای پژوهش‌های بعدی مسیریابی توکنی است.

محدودیت‌ها

نویسنده‌ها می‌گویند مدل ریاضی فرض می‌کند تعداد توکن‌ها بین دو ارسال پیاپی توزیع هندسی دارد؛ این فرض برای بیشتر الگوریتم‌ها برقرار است و موارد خاص کار آینده است.