مقاله‌ی arXiv:2610.13481 · نگه‌داشته برای بعد
Branching On-Policy Distillation
تقطیر روی سیاست با انشعاب در نقطه‌های تصمیم نامطمئن، برای پوشش بیشتر با همان بودجه
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Dongyang Chen, Shudong Liu, Shubo Li, Duoxun Tang, Jinwei Liang, Zehuan Wu, Lewei Lu
- نهاد نویسنده‌ها
- Tsinghua University; SenseTime Research; Peking University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
تقطیر روی سیاست روی مسیرهای تولیدشده‌ی شاگرد نظارت معلم می‌دهد، اما یک مسیر در هر تصمیم فقط یک ادامه را نشان می‌دهد و با بودجه‌ی نمونه‌برداری محدود، پوشش نظارت کم است.
روش
روش BranchOPD نقطه‌های تصمیم پراطلاعات را با عدم اطمینان شاگرد و اختلاف معلم و شاگرد انتخاب می‌کند، از پیشوندهای مشترک ادامه‌های تازه‌ی شاگرد نمونه می‌گیرد و روی مسیرهای اصلی و شاخه‌ها نظارت توکنی معلم اعمال می‌کند. در ریاضی روی تصمیم‌های توکنی و در تسک‌های ایجنتی روی تصمیم‌های درون نوبت کار می‌کند. روش PBR هم با نظارت هدفمند زیر قیدهای پروتکل تکرار و تولید هدررفته را کم می‌کند.
یافته‌ها
- استفاده‌ی دوباره از پیشوند مشترک، هزینه‌ی توکن تولیدی شاگرد را نسبت به هفت مسیر مستقل در ALFWorld حدود ۱۹ درصد و در WebShop حدود ۳۱ درصد کم کرد.
- در همه‌ی بنچمارک‌ها از تقطیر روی سیاست معمولی و نسخه‌ی چنداجرایی آن بهتر بود: ۱۸٫۵۵ واحد درصد در میانگین دقت ریاضی روی ۱۶ پاسخ و ۱۳٫۸ امتیاز در میانگین موفقیت ALFWorld درون و بیرون از توزیع.
- انشعاب در تصمیم‌های نامطمئن پوشش رفتار بعدی را گسترش داد و از انتخاب تصادفی و انشعاب در ابتدای نوبت بهتر بود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ آزمایش‌ها به ریاضی و دو محیط ایجنتی محدودند.
چرا مهم است
تقطیر روی سیاست یکی از راه‌های اصلی ساختن مدل‌های کوچک توانا است. این کار نشان می‌دهد انشعاب هوشمند در لحظه‌های تصمیم، با هزینه‌ی کمتر نظارت بیشتری می‌دهد.