مقاله‌ی arXiv:2610.09021 · در صف خبرنامه
Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System
هر فراخوانی مدل پیشرو نمی‌خواهد: ارزیابی مدل‌های کوچک به تفکیک نقطه‌ی فراخوانی در یک سیستم ایجنتی خانه‌ی هوشمند
- تاریخ
- (۱۴ مهر ۱۴۰۵) 2026-10-06 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Panagiotis Kasnesis, Christos Chatzigeorgiou, Lazaros Toumanidis, Amalia Contiero Syropoulou
- نهاد نویسنده‌ها
- University of West Attica; Waldiez PC; ThinGenious PC
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
یک سیستم ایجنتی چند نوع فراخوانی مدل زبانی با ساختار متفاوت دارد: مسیریابی نیت، دسته‌بندی اقدام، اتصال زبان به فهرست دستگاه‌ها، برنامه‌ریزی خط لوله‌های چندایجنتی و نوشتن کد پایتون. سختی این نقطه‌ها تا یک مرتبه‌ی بزرگی فرق دارد، اما در عمل یک مدل که برای سخت‌ترین نقطه انتخاب شده، همه را سرویس می‌دهد.
روش
نویسنده‌ها ۹ مدل از ۰٫۸ میلیارد پارامتر تا یک مدل پیشرو میزبانی‌شده را در پنج نقطه‌ی فراخوانی یک چارچوب متن‌باز خانه‌ی هوشمند مستقر (Wactorz) ارزیابی کردند، با پرامپت‌های تولیدی بدون تغییر و دو نصب واقعی Home Assistant، در ۲۸۰ مورد و ۲۵۲۰ فراخوانی امتیازدهی‌شده.
یافته‌ها
- توانایی در همه‌ی نقطه‌ها یک ترتیب ندارد و مدل بزرگ‌تر همیشه بهتر نیست: یک مدل ۴ میلیاردی در فرمان دادن به دستگاه از نسخه‌ی ۲ میلیاردی هم‌خانواده‌اش بدتر بود؛ بهترین مدل محلی در چهار نقطه از پنج نقطه از نظر آماری با هر دو مدل میزبانی‌شده تفاوتی نداشت و فقط تولید کد آن‌ها را جدا کرد.
- دقت کلی یک شکست ایمنی را پنهان می‌کند: یک مدل (Gemma4 E2B) در ۸۷٫۲ درصد درخواست‌ها برای دستگاه‌هایی که در آن محل وجود ندارند فرمان صادر کرد و مدل دیگری همه‌ی درخواست‌ها را رد کرد.
- مسیریابی هر نقطه به بهترین مدل محلی به ۹۱٫۸ درصد در برابر ۹۵٫۴ درصد رسید بدون هزینه‌ی هر فراخوانی؛ در استقرار زنده، میزبانی فقط دو نقطه‌ی تولیدی با میزبانی همه برابر بود، ۳۹ از ۴۳ در برابر ۳۹ از ۴۳، با ۲۸ درصد هزینه.
محدودیت‌ها
نویسنده‌ها می‌گویند هر مورد یک‌بار با دمای صفر اجرا شده و واریانس گزارش نشده، با این‌که واریانس واقعی است؛ فقط دو نصب، یک خانه و یک دفتر، با برچسب‌گذاری خود نویسنده‌ها ارزیابی شده‌اند.
چرا مهم است
بیشتر هزینه‌ی سیستم‌های ایجنتی صرف فراخوانی‌هایی می‌شود که مدل کوچک هم از پسشان برمی‌آید. این کار نشان می‌دهد انتخاب مدل باید برای هر نقطه‌ی فراخوانی جدا باشد، و ایمنی را باید جدا از دقت کلی سنجید.