LESSER: Post-Training Data Selection with Output-Layer Gradients

مسئله

انتخاب داده‌ی پس‌آموزش اثر زیادی بر کارایی مدل‌های زبانی دارد. روش‌های انتخاب مبتنی بر گرادیان، داده‌ها را بر اساس هم‌راستایی گرادیانشان با گرادیان یک مجموعه‌ی اعتبارسنجی کوچک رتبه‌بندی می‌کنند، اما گرادیان کامل پارامترها برای هر نمونه یک گذر پس‌رو گران لازم دارد و برای مخزن‌های بزرگ نامزد عملاً غیرممکن می‌شود.

روش

نویسنده‌ها نشان دادند گرادیان‌های لایه‌ی خروجی برای انتخاب مؤثر داده کافی‌اند و فقط گذر پیش‌رو ارزان‌تر را لازم دارند. این ایده به شکل LESSER پیاده شد، پوششی که بدون تغییر روی روش‌های انتخاب موجود قرار می‌گیرد.

یافته‌ها

• هزینه‌ی محاسباتی استخراج ویژگی را در بنچمارک‌های تنظیم دقیق نظارت‌شده ۹٫۷ برابر و در بنچمارک‌های یادگیری تقویتی ۳٫۰ برابر کم کرد و کارایی پایین‌دستی گرادیان کامل را دنبال کرد.
• حتی وقتی گرادیان لایه‌ی خروجی و گرادیان کامل نمونه‌های تکی را متفاوت رتبه‌بندی می‌کنند، دسته‌هایی با گرادیان هم‌راستا انتخاب می‌کنند.
• اثر انتخاب داده عمدتاً در اوایل آموزش رخ می‌دهد.

محدودیت‌ها

نویسنده‌ها می‌گویند آزمایش‌ها همه‌ی رژیم‌های پس‌آموزش و هدف‌های انتخاب را پوشش نمی‌دهند، تمرکز بر اثرهای نزدیک به شروع آموزش است، و مقایسه‌ی تنظیم دقیق بین خط‌لوله‌های کامل است نه آزمایش حذفی با نقطه‌ی ذخیره‌ی یکسان.