Higher-order pruning of experts in mixture-of-experts language models

مسئله

مدل‌های زبانی ترکیب متخصص‌ها تعداد پارامتر زیادی دارند که گلوگاه حافظه می‌سازد. هرس متخصص‌ها مستقیم‌ترین راه کاهش پارامتر است، اما روش‌های موجود برای هر متخصص جداگانه تصمیم می‌گیرند و سهم متخصص‌ها را صرفاً جمعی فرض می‌کنند، در حالی که استفاده از متخصص‌ها ذاتاً همکارانه است؛ مثلاً دو متخصص که همیشه با هم فعال می‌شوند ممکن است جدا کم‌اهمیت به نظر برسند اما حذف هر دو آسیب زیادی بزند.

روش

روش HOPE یک هدف هرس مرتبه‌ی دوم است که به‌طور اثبات‌پذیر کران بالای خطای ناشی از هرس را کمینه می‌کند و به شکل یک برنامه‌ی درجه‌دوم روی ماتریس تعامل متخصص‌ها صورت‌بندی شده است. نویسنده‌ها نشان دادند روش پیشرفته‌ی مرتبه‌ی اول REAP حالت خاصی از آن است که جمله‌های تعامل را نادیده می‌گیرد.

یافته‌ها

• روی سه مدل پیشرو ترکیب متخصص‌ها تا ۱۲۲ میلیارد پارامتر، دو مجموعه‌ی کالیبراسیون و بنچمارک‌های ریاضی، پیروی از دستور، کدنویسی و ایجنتی، تصمیم‌های هرس بهتری از روش‌های موجود گرفت.
• در هرس ۵۰ درصد از همه‌ی پایه‌ها بهتر بود با میانگین رتبه‌ی ۱٫۵۸ از ۵ روش در برابر ۲٫۴۲ برای REAP، و تا ۶٫۱ درصد بهبود در کدنویسی ایجنتی داشت.
• برتری‌اش در نرخ‌های هرس بالا و بار کاری ایجنتی دشوار بیشتر بود.

محدودیت‌ها

نویسنده‌ها می‌گویند کالیبراسیون به دلیل ماهیت درجه‌دوم زمان و حافظه‌ی بیشتری می‌خواهد، هرچند هزینه کم است: مرحله‌ی کالیبراسیون حدود ۶ تا ۷ درصد طولانی‌تر از REAP است.