PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents

مسئله

تقطیر روی سیاست برای آموزش ایجنت‌های زبانی امیدوارکننده است و نظارت متراکم معلم را روی مسیرهای تولیدی دانش‌آموز می‌دهد. اما در تعامل چندنوبتی یک کنش نادرست وضعیت‌های بعدی را تغییر می‌دهد و خطاها انباشته می‌شوند. در آزمایش‌های اولیه با سه مدل Qwen3 از ۸ تا ۲۳۵ میلیارد پارامتر، بیش از نیمی از اجراهای ناموفق یک اشتباه محوری داشتند، یعنی کنشی که ایجنت را از تمام کردن تسک دورتر می‌کند، و این اشتباه معمولاً زود رخ می‌داد. این اشتباه‌ها اغلب قابل جبران بودند: هدایت مدل فقط برای چند نوبت پس از نوبت محوری موفقیت را برمی‌گرداند.

روش

چارچوب PivotOPD دانش‌آموز را هم‌زمان برای جلوگیری از اشتباه محوری و بازیابی از وضعیت‌هایی که می‌سازد آموزش می‌دهد. در هر اشتباه محوری، یک معلم کنش طلایی می‌دهد و سپس برای چند نوبت بعدی کنش بازیابی را نام می‌برد. تقطیر پیشگیرانه با کنش طلایی و واگرایی KL معکوس دانش‌آموز را از اشتباه دور می‌کند و تقطیر بازیابی با کنش‌های بازیابی و KL پیش‌رو رفتارهای بازیابی را منتقل می‌کند که دانش‌آموز به ندرت نمونه‌گیری می‌کند.

یافته‌ها

• در برابر ۱۳ پایه روی ALFWorld، WebShop و پرسش و پاسخ مبتنی بر جست‌وجو، برای دانش‌آموزهای Qwen3-1.7B و Qwen3-8B قوی‌ترین میانگین کارایی را داشت و با دانش‌آموز ۱٫۷ میلیاردی ۵٫۵ درصد از قوی‌ترین پایه روی ALFWorld بهتر بود.
• بهبود به خانواده‌ی مدل دیگری در حوزه‌ی مهندسی نرم‌افزار منتقل شد و نرخ حل یک دانش‌آموز Nemotron-3.5 روی SWE-Bench Verified را ۳٫۲ درصد بالا برد.

محدودیت‌ها

نویسنده‌ها می‌گویند نوبت‌های بازیابی پس از اولی با بازپخش کنش‌های ثبت‌شده در یک کپی از محیط به دست می‌آیند، پس بودجه‌ی بازیابی بیش از یک نوبت به محیطی نیاز دارد که مشاهده‌های ثبت‌شده را دقیقاً بازتولید کند.