مقاله‌ی arXiv:2610.12927 · نگه‌داشته برای بعد
Collaborative Learning and Reasoning over Model Slices
یادگیری و استدلال مشارکتی روی «برش‌های مدل»: جایگزینی یک مدل بزرگ با چند مدل کوچک ناهمگون
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yuheng Wang, Runde Yang, Zhuohan Bao, Qiran Zhang, Huatao Li, Yiyang Zheng, Lin Wu, Jingru Fan, Shu Yao, Yihan Li, Zhi Li, Chen Qian
- نهاد نویسنده‌ها
- School of Artificial Intelligence, Shanghai Jiao Tong University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
استدلال با یک مدل در برابر انتشار خطا آسیب‌پذیر است: قدم‌های بعدی به خروجی‌های قبلی مدل وابسته‌اند و نقطه‌های کور استدلال را سخت می‌شود مستقل دوباره ارزیابی کرد؛ مدلی که در قدم دوم اشتباه کرده، در قدم پنجم هم با همان دید به آن نگاه می‌کند.
روش
«یادگیری مشارکتی» شامل ساختن همکاران ناهمگون و یادگیری همکاری مؤثر بین مدل‌هاست. «برش مدل» یک مدل بزرگ را با چند مدل کوچک‌تر و ناهمگون با بودجه‌ی پارامتر مشابه جایگزین می‌کند، تا استدلال قبلی با پارامترهای متفاوت دوباره ارزیابی شود. «نظارت هرمی» تقطیر پروتکل را با نظارت قدم‌به‌قدم ترکیب می‌کند تا تصمیم‌های استدلال و تعامل در طول همکاری اصلاح شوند.
یافته‌ها
- در چهار دسته‌ی تسک، یعنی پرسش و پاسخ چندمرحله‌ای، استدلال ریاضی، تولید کد و تولید باز با قید، مدل‌های ناهمگون آموزش‌دیده هم‌سطح یا بهتر از مدل بزرگ اصلی و پایه‌های چندایجنتی، شامل روش‌های مبتنی بر یادگیری تقویتی، بودند.
- کارایی استنتاج بالاتری از پایه‌های چندایجنتی داشتند و الگوهای همکاری متفاوتی در تسک‌های مختلف نشان دادند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده عدد مشخصی برای اندازه‌ی بهبود نمی‌دهد.
چرا مهم است
چند مدل کوچک متفاوت ممکن است خطاهای همدیگر را بهتر از یک مدل بزرگ ببینند. این کار نشان می‌دهد این تنوع را می‌شود با آموزش به توانایی مکمل تبدیل کرد.