Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

مسئله

هارنس‌های ایجنت روزبه‌روز بیشتر می‌خواهند مدل‌های زبانی کوچک را برای ریزتسک‌های اطراف یک برنامه‌ریز بزرگ به کار ببرند: تأیید خودکار دستورهای شل، نوشتن حافظه، انتخاب ابزار و رتبه‌بندی نوبت‌های قبلی. سؤال این است که مدل‌های کوچک آماده آستانه‌های تعریف‌شده توسط متخصصان را برآورده می‌کنند یا نه، اگر نه چرا، و آیا کوانتیزه کردن جواب را تغییر می‌دهد.

روش

نویسنده‌ها بنچمارکی از ۴ ریزتسک با پرامپت ثابت و معیار خودکار ساختند که هر کدام آستانه‌ای از پیش تعیین‌شده دارد که به یک پایه‌ی ارزان غیرمدل‌زبانی لنگر شده، و یک قاعده‌ی واجد شرایط بودن آگاه از بازه‌ی اطمینان دارد. مدل‌های Qwen3 با ۰٫۶، ۱٫۷، ۴ و ۸ میلیارد پارامتر در بهترین حالت سنجیده شدند و یک تشخیص مبتنی بر آستانه‌ی احتمال، شکست‌ها را به کمبود توانایی و شکست‌های قابل رفع با تغییر آستانه‌ی رمزگشایی تقسیم کرد.

یافته‌ها

• هیچ‌کدام از ۱۶ پیکربندی (۴ تسک ضرب در ۴ مدل) آستانه را رد نکرد.
• کوانتیزه کردن به ۴ بیت آسیبی وابسته به اندازه‌ی مدل زد و هیچ پیکربندی را واجد شرایط نکرد؛ نتیجه روی Llama-3.x هم تکرار شد (۱۲ از ۱۲ ناواجد) و با ۳ بازنویسی خنثی پرامپت ۰ از ۱۱۲ واجد شرایط بود.
• توصیه‌ی عملی این است که مدل کوچک پشت پایه‌ای که آستانه را برآورده می‌کند قرار گیرد؛ مثلاً یک بازرتبه‌بند ۴ میلیاردی روی فهرست کوتاه BM25 از خود BM25 بهتر بود، هرچند خودش واجد شرایط نشد.

محدودیت‌ها

نویسنده‌ها می‌گویند الگو در دو خانواده‌ی مدل تکرار شد اما ادعا نمی‌کنند اندازه‌ی دقیق اثرها منتقل شود، و وابستگی آسیب کوانتیزه کردن به اندازه‌ی مدل فقط درون Qwen3 اثبات شده است.