مقاله‌ی arXiv:2610.13238 · در صف خبرنامه
State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
تقطیر روی سیاست بر پایه‌ی وضعیت تعامل برای ایجنت‌های چندنوبتی: استدلال قبلی شاگرد نظارت معلم را خراب می‌کند
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zhentao Zhang, Yanzhao Zheng, Yanlin Liu, Yuanqiang Yu, Tianze Xu, Chao Ma, Jihuai Zhu, Lelun Wu, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu
- نهاد نویسنده‌ها
- Alibaba Group; Tsinghua University; Shanghai Jiao Tong University; University of Science and Technology of China
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
تقطیر روی سیاست راهی قوی برای انتقال توانایی استدلال از مدل‌های پیشرو به مدل‌های کوچک‌تر است، اما گسترش آن به محیط‌های ایجنتی چندنوبتی سخت است. معلم وقتی تاریخچه‌ی کامل شاگرد، شامل استدلال‌های قبلی‌اش، را می‌بیند، ممکن است با همان استدلال‌های غلط همراه شود.
روش
نویسنده‌ها تقطیر ایجنتی را از دید وضعیت تعامل بررسی کردند و هدف تسک و سابقه‌ی اقدام و مشاهده را از مسیر معنایی درونی استدلال شاگرد جدا کردند. دیدند در وضعیت‌های منطبق، حذف استدلال قبلی شاگرد موفقیت ادامه‌ی معلم را بیشتر و هدف‌های توکنی‌اش را عوض می‌کند، و نمونه‌گیری دوباره‌ی پاسخ کامل استدلال و اقدام تنوع اقدام بیشتری می‌دهد. روش State-OPD نظارت معلم را بر وضعیت تعامل پایه‌گذاری می‌کند و بودجه‌ی نمونه‌گیری را به تولید چند پاسخ کامل در وضعیت‌های با آنتروپی بالا اختصاص می‌دهد.
یافته‌ها
- روی ALFWorld، ScienceWorld و WebShop، برای هر دو شاگرد Qwen3-1.7B و Qwen3-4B بالاترین میانگین موفقیت را بین روش‌های ارزیابی‌شده داشت.
- برای Qwen3-4B، میانگین موفقیت را از ۲۶٫۰۷ درصد با قوی‌ترین پایه به ۳۱٫۷۴ درصد رساند و در بخش دیده‌شده‌ی ALFWorld از معلم Qwen3-32B خودش بهتر بود.
- با پاسخ‌های نظارت‌شده‌ی کمتر به موفقیت بیشتری رسید و تکرار پایدار اقدام‌های ناموفق را به‌طور چشمگیری کم کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی به سه محیط متنی و دو اندازه‌ی شاگرد محدود است.
چرا مهم است
انتقال توانایی ایجنتی به مدل‌های کوچک برای استقرار ارزان مهم است. این کار یک دام پنهان در تقطیر چندنوبتی نشان می‌دهد و با تغییری ساده آن را رفع می‌کند.