Co-Evolving Acting and Forecasting for Language Agents

مسئله

آموزش ایجنت‌های زبانی به خاطر هزینه‌ی بالای اجراهای طولانی محدود است، ولی یادگیری تقویتی معمول فقط از یک پاداش پایانی یاد می‌گیرد و نظارت قدم‌های میانی را هدر می‌دهد. روش‌های قبلی یا هدف ارزش برای هر قدم می‌سازند، که همه از همان یک پاداش می‌آیند، یا هدف مشاهده، مثل صفحه‌ی وب و لاگ ترمینال، که طولانی و پرنویز است و فقط یک قدم جلوتر را می‌بیند.

روش

روش CoPE نوع سومی از هدف اضافه می‌کند: هدف اقدام چندقدمی. روی مسیرهای موفق خود سیاست، بدنه‌ی مدل آموزش می‌بیند دنباله‌ی اقدام‌هایی را که بعد از هر تاریخچه آمده تولید کند. هر اقدام از چند تاریخچه‌ی قبلی هم پیش‌بینی می‌شود و یک مجموعه‌ی زمانی می‌سازد، پس اقدام کردن و پیش‌بینی کردن با هم تکامل می‌یابند. در زمان اجرا سیاست همچنان قدم به قدم عمل می‌کند و هزینه‌ی اضافه‌ای ندارد.

یافته‌ها

• روی پنج بنچمارک ALFWorld، ScienceWorld، WebShop، τ²-bench و AppWorld، در محیط‌های شبیه‌سازی‌شده کارایی کلی بهتری از GRPO و پایه‌های یادگیری تقویتی با هدف‌های پیش‌بینی کمکی داشت و روی هر دو کاربرد واقعی هم بهتر شد.
• روی ScienceWorld تا ۱٫۹ برابر بازده نمونه‌ی بیشتر از ECHO و ۲ برابر بیشتر از GRPO داشت.
• همه‌ی این‌ها با یک بدنه‌ی سیاست، بدون مدل اضافه، پیش‌آموزش جداگانه یا هزینه‌ی زمان اجرا به دست آمد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و روش فقط از مسیرهای موفق یاد می‌گیرد.