Taking Tokenization off the Host for Agentic LLM Serving

مسئله

بارهای کاری ایجنتی کانتکست‌های طولانی را که بین فراخوانی‌ها تقریباً تغییر نمی‌کنند دوباره می‌فرستند. کش پیشوند حالا بیشتر پیش‌پر را حذف می‌کند، اما هر درخواست هنوز باید کامل توکن‌سازی شود تا اصلاً بشود کش را بررسی کرد. توکن‌سازی، یک مرحله‌ی CPU که مدت‌ها ناچیز فرض می‌شد، بزرگ‌ترین بخش زمان رسیدن اولین توکن می‌شود، و یک فرانت‌اند که برای کل ناوگان GPU توکن‌سازی می‌کند تعداد GPUهایی را که می‌تواند تغذیه کند محدود می‌کند.

روش

توکن‌ساز GraphTok روی GPU کل خط لوله‌ی رمزگذاری، از پیش‌توکن‌سازی تا ادغام جفت‌بایت‌ها و ساخت شناسه‌ی توکن، را به شکل یک گراف CUDA قابل بازپخش اجرا می‌کند. شناسه‌های توکن مرجع را برای پنج توکن‌ساز تولیدی، از جمله GPT-2 و Llama ۳ و DeepSeek-V3، بیت به بیت بازتولید می‌کند. ورودی‌های کوتاه را به موتور CPU می‌سپارد و بدون تغییر در vLLM و Dynamo جا می‌افتد.

یافته‌ها

• یک میلیون توکن GPT-2 را با احتساب انتقال داده در ۱٫۷ تا ۳٫۲ میلی‌ثانیه رمزگذاری می‌کند و روی Llama ۳ بین ۴٫۷ تا ۶ برابر سریع‌تر از gigatoken، قوی‌ترین توکن‌ساز CPU، است.
• در vLLM با پیشوند کش‌شده، میانگین زمان رسیدن اولین توکن را ۲٫۱ تا ۲٫۴ برابر کم کرد.
• بزرگ‌ترین سود در ظرفیت است: با هدف تأخیر صدک ۹۹ برابر ۲ ثانیه، یک فرانت‌اند Dynamo با GraphTok ۵۱۸ درخواست در ثانیه با ترافیک ۱۲۱ هزار توکنی را تحمل کرد، معادل بار ساعت شلوغ ۵۶ GPU، در برابر ۲۹۶ با gigatoken و ۱۸٫۵ با توکن‌ساز پیش‌فرض.

محدودیت‌ها

نویسنده‌ها می‌گویند فقط پنج پیکربندی مشخص توکن‌ساز پیاده شده، نه هر فایل توکن‌ساز دلخواه، و یکپارچگی سرو فقط برای Llama ۳ و Qwen ۲٫۵ و Qwen ۳ تأیید شده؛ همه‌ی آزمایش‌ها روی یک GPU از نوع H100 NVL انجام شده و مقیاس‌پذیری سخت‌افزاری ثابت نشده است.