Mingbird: A Local-First Agent Harness Enabling Small Open Models to Complete Real Tasks

مسئله

مدل‌های وزن‌باز کوچک (۲ تا ۹ میلیارد پارامتر) روی لپ‌تاپ‌های معمولی اجرا می‌شوند، اما زیر هارنس‌های ابری به ندرت تسک واقعی را تمام می‌کنند: پیش‌پرکردن ابزارها کانتکست را سرریز می‌کند، خوداصلاحی واگرا می‌شود، نمایش ابزارها حلقه می‌سازد و تسک‌ها بی‌صدا رها می‌شوند.

روش

هارنس Mingbird برای ویندوز و Ollama ده سازوکار دارد که نقطه به نقطه شکل‌های شکست مدل‌های کوچک را جبران می‌کنند؛ سه نمونه‌ی شاخص: بودجه‌ی پیش‌پرکردن با خالص صفر در سطح بایت، دروازه‌ی پایان که پیش از پذیرش اتمام تسک را دوباره می‌خواند، و تشخیص حلقه در سطح امضا. نویسنده‌ها بنچمارک LRAB را ساختند که دستگاه، مدل‌ها، بودجه و امتیازدهی را ثابت نگه می‌دارد: ۴ هارنس، ۴ مدل باز (۲ تا ۳۵ میلیارد پارامتر) و ۱۸ تسک واقعی با امتیازدهی قطعی خروجی.

یافته‌ها

• روی LRAB امتیاز کلی ۰٫۸۸۶ گرفت در برابر ۰٫۶۳۱ برای goose، ۰٫۴۷۹ برای opencode و ۰٫۴۰۵ برای agent-mini، و هر ۲۸۸ خانه‌ی نتایج منتشر شد.
• روی τ²-bench با ۲۷۸ تسک امتیاز ۰٫۸۵۶ در برابر ۰٫۷۹۱ و ۰٫۷۳۷ گرفت.
• در مدل ۲ میلیاردی، همان مدل با همان بودجه با یک هارنس ۰٫۸۲۱ خانه‌ها را کامل کرد و با بقیه ۰٫۰۱۷ تا ۰٫۲۷۱.

محدودیت‌ها

نویسنده‌ها می‌گویند بنچمارک اصلی را خودشان ساخته‌اند، همه چیز روی یک دستگاه و با امتیازدهی تک‌اجرایی است، و آزمایش حذف تک‌سازوکار فقط جهت‌نما است چون تکرار همان حالت در یک شب میانگین را تا ۰٫۰۶۹ جابه‌جا می‌کند.