Agentic-TTT: Training test-time policy for test-time training

مسئله

آموزش زمان آزمون پارامترهای مدل زبانی را با سیگنال‌های ورودی‌های آزمون تطبیق می‌دهد و در تنظیم‌های از پیش مشخص، مثل مسابقه‌های المپیاد ریاضی، بهبود چشمگیر می‌دهد. اما همیشه مفید نیست: هر الگوریتم در شرایط خاصی کار می‌کند و روش نامناسب محاسبه را هدر می‌دهد یا حتی مدل را خراب می‌کند. پس مدل باید تصمیم بگیرد کِی این آموزش لازم است، کدام الگوریتم را فرابخواند و آیا مهارت موجودی قابل استفاده‌ی مجدد است.

روش

روش Agentic-TTT یک سیاست زمان آزمون برای این تصمیم‌ها یاد می‌گیرد. رویه‌های آموزش زمان آزمون را به ابزارهای قابل فراخوانی تبدیل می‌کند، مهارت‌های انباشته را محیط استقرار در حال تکامل می‌بیند و سیاست را با سود سودمندی مشاهده‌شده از تصمیم‌هایش آموزش می‌دهد.

یافته‌ها

• روی بنچمارک نویسنده‌ها، سودمندی را نسبت به مدل پایه تقریباً دو برابر کرد.
• یاد گرفت سودمندی را با محاسبه متعادل کند و به دامنه‌هایی که در آموزش ندیده بود تعمیم یافت.

محدودیت‌ها

نویسنده‌ها می‌گویند بنچمارک عمداً با پرسش‌هایی پر شده که آموزش زمان آزمون برایشان مفید بوده، پس در بارهای کاری که تطبیق مفید نادر است سود ممکن است خیلی کمتر شود یا از بین برود و برتری ثابت در توزیع‌های دلخواه ثابت نشده است.