مقاله‌ی arXiv:2610.11231 · در صف خبرنامه
Harness Compilation: Which Decisions Should a Small Vision-Language Model Keep?
کامپایل هارنس: یک مدل بینایی‌زبان کوچک کدام تصمیم‌ها را باید خودش نگه دارد؟
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Minhao Fan, Yinyi Liu, Jiayu Zhao, Zihan Teng, Song Chen, Weichen Liu
- نهاد نویسنده‌ها
- College of Computing and Data Science, Nanyang Technological University; School of Microelectronics, University of Science and Technology of China
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مدل‌های بینایی‌زبان کوچک ممکن است بتوانند شواهد بیرونی را بخوانند اما در به دست آوردنش مشکل دارند؛ مثلاً اگر متن مرتبط به آن‌ها داده شود درست پاسخ می‌دهند، ولی نوشتن یک پرسش جست‌وجوی خوب برایشان سخت است. پس تقسیم کار بین مدل و هارنس بیرونی اهمیت دارد.
روش
کامپایل هارنس یک رویه‌ی آفلاین است که تقسیم کار بین یک مدل کوچک منجمد و هارنس بیرونی‌اش را تطبیق می‌دهد. یک معلم بزرگ با ردپاهای اجرای دانش‌آموز، محتوا و کنترل قابل استفاده‌ی مجدد را بازنگری می‌کند و یک مجموعه‌ی اعتبارسنجی جدا هارنس نهایی را انتخاب می‌کند. استقرار نه به‌روزرسانی وزن لازم دارد نه فراخوانی معلم.
یافته‌ها
- در هفت تنظیم پرسش و پاسخ بصری با دانش‌آموزهای حداکثر ۹ میلیاردی، امتیاز را نسبت به دانش‌آموز ساده ۹٫۹ تا ۲۳٫۹ امتیاز بالا برد، با میانگین سه ساخت مستقل در هر تنظیم.
- مداخله روی پنج نوع تصمیم زمان اجرا نشان داد درخواست شواهد و تولید پرسش باز می‌تواند پرهزینه باشد، در حالی که انتخاب‌های محدود و خواندن متن داده‌شده کار مفید دانش‌آموز می‌ماند.
- کارت‌های واقعیت به هر ده دانش‌آموز ارزیابی‌شده کمک کردند اما سیاست‌های تصمیم نابرابر منتقل شدند؛ با ۱۰۰ نمونه‌ی تمرینی از LoRA فقط‌پاسخ در سه تسک بهتر بود، و ترکیب هر دو SlideVQA را از هرکدام به تنهایی بهتر کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند تعداد تصمیم‌ها به تنهایی کیفیت هارنس را نمی‌سنجد، ساخت‌ها به نمونه‌های اولیه‌ی معلم و انتخاب اعتبارسنجی وابسته‌اند، سه ساخت فقط بخشی از تغییرپذیری را نشان می‌دهد و مجموعه‌های آزمون BLINK کوچک‌اند.
چرا مهم است
مدل‌های کوچک ارزان‌اند اما همه‌ی کارها را خوب انجام نمی‌دهند. این کار نشان می‌دهد تقسیم کار بر اساس رفتار اندازه‌گیری‌شده، بهتر از حذف یکسان تصمیم‌ها از مدل است.