ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience

مسئله

ایجنت‌ها تسک‌های بلندمدت را در نوبت‌های زیاد استدلال و اقدام حل می‌کنند و فقط یک سیگنال تأیید در پایان می‌گیرند. ایجنت‌های مستقر با جریانی از تسک‌های مرتبط روبه‌رو می‌شوند، پس مسیرهایشان منبع طبیعی بهبود است. ایجنت‌های تطبیق درون کانتکست بازتاب‌ها، حافظه‌ها یا مهارت‌ها را به شکل متن نگه می‌دارند، پس استفاده‌ی مجدد به بازیابی درست و اجرای آن با یک سیاست منجمد وابسته است.

روش

نویسنده‌ها «آموزش آنلاین زمان آزمون ایجنتی» را بررسی کردند که وزن‌های مدل را حین استقرار روی مسیرهای اجرای خودش آموزش می‌دهد: هر تسک یک‌بار اجرا می‌شود و مسیر اجراشده با نتیجه‌ی تأییدش تنها سیگنال یادگیری است. تقلید یا تقویت مستقیم توکن‌های همین یک تلاش سیاست را ناپایدار می‌کند، پس روش ASCENT به جایش تجربه‌ی تأییدشده را خودتقطیر می‌کند: نسخه‌ی منجمد اولیه‌ی مدل مسیر تأییدشده را به عنوان اطلاعات ممتاز می‌گیرد و با این دانش پسین توزیع توکن بعدی را پیش‌بینی می‌کند، و این توزیع‌ها در وزن‌های سریع LoRA پایدار تقطیر می‌شوند. نوبت‌های اقدام نامعتبر هم حذف می‌شوند.

یافته‌ها

• در ALFWorld، WebShop و AppWorld با مقیاس‌های مختلف مدل، موفقیت تسک و کارایی تعامل با انباشت تجربه بهتر شد.
• از روش‌های تطبیق آنلاین بهتر بود، با بهبودی که در ادامه‌ی جریان بزرگ‌تر می‌شود، و به صحنه‌های کنارگذاشته منتقل شد.

محدودیت‌ها

نویسنده‌ها می‌گویند روش به توزیع کامل توکن بعدی از نسخه‌ی منجمد نیاز دارد پس فقط برای مدل‌های وزن‌باز کار می‌کند، به‌روزرسانی را با تأیید پراکنده‌ی سطح اپیزود دروازه‌گذاری می‌کند و همه‌ی نوبت‌ها را هم‌وزن می‌گیرد.