Matched-Context Group Policy Optimization for LLM Agent Training

مسئله

آموزش ایجنت‌های طولانی‌مدت نیاز دارد از بازخورد پایانی پراکنده، به تصمیم‌های میانی اعتبار داده شود. در یک گروه محدود از اجراهای هم‌نژاد، مقایسه‌ی مفید اقدام‌ها به کانتکست آن‌ها، شواهد برای هر دو گزینه و نحوه‌ی ورود این شواهد به یادگیری بستگی دارد؛ مقایسه‌ی دو اقدام در دو وضعیت کاملاً متفاوت، سیگنال گمراه‌کننده می‌دهد.

روش

روش MCGPO ترجیح‌های وزن‌دار اقدام را از مسیرهای جمع‌شده می‌سازد. کانتکست مقایسه با خلاصه‌ی وضعیت پیش از اقدام و پیشرفت مشاهده‌شده در معیارها تعریف می‌شود، که با قاعده‌های تسک برچسب می‌خورند. پشتیبانی دو اقدام بین قاعده‌های تطبیق دقیق و درشت انتخاب می‌کند؛ تقسیم ثابت داده، تصمیم‌های نامزد را از نتیجه‌های پایانیِ تعیین‌کننده‌ی جهت ترجیح جدا می‌کند، و وزن شواهد یک هدف جفتی کمکی را در کنار یادگیری تسک GraphGPO مقیاس می‌دهد. آموزش بدون منتقد باقی می‌ماند.

یافته‌ها

• در شش تنظیم محیط و مدل با سه بذر، میانگین موفقیت را نسبت به GraphGPO هم‌تراز بهتر کرد: ۰٫۴۷ تا ۱٫۴۶ واحد درصد روی ALFWorld و WebShop با Qwen2.5 در اندازه‌های ۱٫۵ و ۷ میلیارد.
• روی WebShop با Qwen3 در اندازه‌های ۴ و ۸ میلیارد، ۳٫۹۶ و ۵٫۱۶ امتیاز بهبود داشت؛ بهبودهای ALFWorld روی پایه‌ای بالای ۹۲ درصد است که جای کمی برای پیشرفت دارد.
• آزمایش‌های کنترلی نقش شواهد از تقسیم مقابل و وزن‌دهی شواهد را تأیید کردند و تطبیق مشترک وضعیت و معیار در هر چهار تنظیم بهترین میانگین را داشت.

محدودیت‌ها

نویسنده‌ها می‌گویند روش فقط روی ALFWorld و WebShop با مدل‌های Qwen ارزیابی شد و انتقال به حوزه‌های دیگر خلاصه‌ی وضعیت، کانال معیار و قاعده‌ی تسک مناسب لازم دارد؛ ترجیح‌ها از گروه‌های محدود اجراهای مشاهده‌ای استنباط می‌شوند و تطبیق درشت ممکن است تفاوت‌های مؤثر بر نتیجه را نگه دارد.