Iterate on an LLM, Serve on an SLM

مسئله

مدل‌های زبانی کوچک برای زیرتسک‌های باریک و تکراری ایجنت‌ها ۵ تا ۴۰ برابر ارزان‌ترند، اما مدل کوچک بدون آموزش معمولاً در تسک تولیدی شکست می‌خورد، و آموزش دوباره با هر تغییر رفتار برای تکرار سریع خیلی کند است.

روش

پیشنهاد این است که هر دو کار به ترتیب انجام شوند: اول رفتار مطلوب با پرامپت روی یک مدل پیشرو و با بازخورد فوری از ترافیک واقعی ساخته شود، و وقتی رفتار ثابت شد، تصمیم‌های ثبت‌شده‌ی واقعی تولید (نه نمونه‌های ساختگی) با آموزش نظارت‌شده به یک مدل کوچک تقطیر شوند. نمونه‌ی کاربردی، یک ایجنت زمان‌بندی برای آژانس‌های مراقبت در منزل است که برای هر جفت مراقب و شیفت یک تصمیم ایمنی بله یا نه می‌گیرد.

یافته‌ها

• مدل Qwen3-8B که با LoRA روی ۱۱٫۶ هزار تصمیم ثبت‌شده آموزش دید، به توافق ۰٫۹۱۳ رسید، در حالی که خود مدل معلم (GPT-5.4-nano) روی همان پرامپت‌ها فقط ۷۲٫۷ درصد با خودش هم‌نظر بود.
• وقتی دو مدل اختلاف داشتند، یک زمان‌بند حرفه‌ای که نمی‌دانست کدام پاسخ از کدام مدل است، ۴۸ بار طرف مدل کوچک و ۲۹ بار طرف معلم را گرفت.
• مدل کوچک حدود ۲٫۵ برابر تأخیر میانه‌ی کمتری داشت و هزینه‌اش کسری از معلم است.

محدودیت‌ها

نویسنده می‌گوید مدل تقطیرشده هنوز ترافیک تولیدی را سرو نمی‌کند و همه‌ی عددها بازپخش آفلاین‌اند؛ آزمون واقعی یک آزمایش A/B در تولید است. برچسب‌های مرجع هم از یک نفر می‌آیند.