مقاله‌ی arXiv:2609.36642 · نگه‌داشته برای بعد
PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
پی‌آر-اوپی‌دی: خودتقطیری روی سیاست با بازنمایی ممتاز برای یادگیری تقویتی ایجنتی
- تاریخ
- (۷ مهر ۱۴۰۵) 2026-09-29 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Muyang Li, Jie Yang, Zhengyu Fang, Junchao Zhu, Zhengkun Xiao, Ruining Deng, Zhe Jiang, Shigang Chen
- نهاد نویسنده‌ها
- University of Florida; University of Illinois at Chicago; Case Western Reserve University; Vanderbilt University; Weill Cornell Medicine
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های زبانی معمولاً با یک پاداش در هر اپیزود آموزش می‌بینند، و خودتقطیری ممتاز با این‌که همان سیاست با در اختیار داشتن یک مهارت، نسخه‌ی بدون مهارت خودش را از طریق احتمال توکن‌ها آموزش دهد، این سیگنال را غنی می‌کند. نویسنده‌ها دو پدیده یافتند که این کانال را زیر سؤال می‌برد: یک مهارت در کانتکست موفقیت WebShop را از ۴۲٫۲ به ۵۶٫۲ درصد می‌رساند اما احتمال کمتر از یک چهارم توکن‌های نمونه‌گیری‌شده را تغییر می‌دهد؛ در عوض حالت‌های پنهان بیش از ۸۰ درصد توکن‌های پاسخ را تغییر می‌دهد، به شکلی که کاوشگرهای خطی می‌توانند آن را تا مهارت مشخص ردیابی کنند.
روش
روش PR-OPD پس از یک شروع گرم با GRPO، از سیاست می‌خواهد برای هر مسیر یک مهارت پس‌نگر بنویسد، پاسخ‌های خودش را با آن مهارت به عنوان معلم بدون گرادیان دوباره بخواند، و حالت‌های پنهان تصویرشده‌اش را در هر لایه کنار هدف پاداش با معلم هم‌تراز کند؛ بدون کتابخانه‌ی مهارت بیرونی، معلم جداگانه یا سربار استنتاج.
یافته‌ها
- روی ALFWorld و WebShop با دو مدل پایه، در هر تنظیم بهترین نتیجه‌ی کلی را گرفت.
- نسبت به GRPO تا ۴٫۷ امتیاز در موفقیت ALFWorld و ۱۴٫۰ امتیاز در دقت WebShop بهتر بود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی روی دو محیط و دو مدل پایه انجام شده است.
چرا مهم است
اگر بیشتر اثر یک مهارت در حالت‌های پنهان باشد نه احتمال توکن‌ها، تقطیر از راه توکن‌ها بخش زیادی از سیگنال را از دست می‌دهد. این کار راهی برای استفاده از همان سیگنال پنهان می‌دهد.