Continually Post-training Small Models via Synthetic Self-distillation

مسئله

پس‌آموزش پیوسته دو چالش دارد: مدل باید توانایی تازه یاد بگیرد و دانش قبلی را حفظ کند. روش خودتقطیری با نمونه‌های درون کانتکست این را کم می‌کند، اما به توانایی قوی یادگیری درون کانتکست و پیروی از دستور تکیه دارد و روی مدل‌های کوچک، که برای استفاده‌ی کم‌تأخیر روی دستگاه حیاتی‌اند، شکست می‌خورد.

روش

نویسنده‌ها اول نشان دادند یادگیری ضعیف و فراموشی به‌طور خطی با جابه‌جایی توزیع مدل پس‌آموزش‌دیده همبسته‌اند، پس یادگیری درون توزیع لازم است. روش SynthSelf بازنویسی درون توزیع خودتقطیری را تقلید می‌کند، با سپردن این کار به یک مدل هم‌خانواده‌ی کمی بزرگ‌تر. همراه با نظارت خارج از سیاست و نمونه‌گیری رد، نظارت باکیفیتی می‌دهد که توزیع اصلی مدل کوچک را نمی‌شکند.

یافته‌ها

• در ۴ مجموعه‌داده‌ی یادگیری، شامل یک ترکیب، و ۱۴ بنچمارک حفظ دانش، در ۳ اندازه‌ی مدل کوچک پیوسته از ۶ روش، شامل تقطیر روی سیاست و خارج از سیاست، بهتر بود.
• رابطه‌ی خطی بین جابه‌جایی توزیع و فراموشی، هم بین مجموعه‌داده‌ها و هم درون یک مجموعه‌داده دیده شد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ روش به وجود یک مدل هم‌خانواده‌ی کمی بزرگ‌تر وابسته است.