PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents

مسئله

ایجنت‌های چندنوبتی ابزار باید در چند نوبت استدلال کنند، ابزار فرا بخوانند و با مشاهده‌ها تطبیق یابند. پس‌آموزش آن‌ها سخت است: یادگیری تقویتی با وجود هم‌خوانی با حالت استنتاج از پاداش پراکنده و تخصیص اعتبار ضعیف رنج می‌برد، و تنظیم دقیق نظارت‌شده روی ردپاهای متخصص نظارت فرایندی متراکم می‌دهد اما مدل را بیش از حد به مسیرهای ثابت محدود می‌کند.

روش

چارچوب PACT ردپاهای متخصص را فقط به عنوان سیگنال بهینه‌سازی زمان آموزش به کار می‌برد نه راهنمای زمان اجرا. تولید اجراها فقط با پرامپت است و ردپاها از دو راه بهینه‌سازی را هدایت می‌کنند: یک جانشین یادگیری تقویتی مشروط به ردپا که اجراهای فقط‌پرامپتی را در کانتکست ردپای متخصص ارزیابی می‌کند، و یک زیان نظارت‌شده‌ی آگاه از اجزا که نظارت فرایندی کاهنده روی استدلال و فراخوانی ابزار می‌دهد. لنگر فقط‌پرامپتی با به‌روزرسانی‌های استاندارد، وابستگی بیش از حد به کانتکست آموزشی را کم می‌کند.

یافته‌ها

• روی FTRL، BFCL و ToolHop پیوسته از پایه‌های قوی مبتنی بر تنظیم دقیق نظارت‌شده و یادگیری تقویتی بهتر بود.
• تحلیل‌ها مکمل بودن دو هدف آموزشی و سود نظارت آگاه از اجزا و لنگر فقط‌پرامپتی را تأیید کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند روش به ردپاهای متخصص در آموزش نیاز دارد که ساخت، تأیید و بخش‌بندی‌شان هزینه‌ی آماده‌سازی آفلاین دارد، روی تعامل ایجنت و ابزار تمرکز دارد نه گفت‌وگوی جاری با کاربر، و زمان‌بندی‌ها و وزن‌های زیان از پیش تعیین‌شده‌اند. چکیده اندازه‌ی عددی بهبود را نمی‌گوید.