Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
خلاصه‌ی فارسی هنوز نوشته نشده است.
موضوع
دیستیلیشن
۱۵ مقاله با این موضوع (به انگلیسی Distillation). جستجو و فیلتر در همین موضوع
اکتبر ۲۰۲۶۱۵ مقاله
Training-Free On-Policy Distillation
ادغام چند مدل متخصص در یک مدل، فقط با چند ساعت محاسبه‌ی رو به جلو و بدون آموزش
برای این‌که مهارت چند مدل متخصص (مثلاً یکی برای ریاضی و یکی برای کد) در یک مدل جمع شود، معمولاً از تقطیر روی سیاست استفاده می‌کنند: مدل شاگرد پاسخ تولید می‌کند و از هر معلم بازخورد می‌گیرد. این کار برای هر معلم اجرای مدل، محاسبه‌ی معلم و قدم‌های آموزش لازم دار
Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing
مدل کوچکی که فقط کارش نوشتن در حافظه‌ی بلندمدت است و در چند سیستم حافظه کار می‌کند
سیستم‌های حافظه‌ی بیرونی برنامه‌های مدل زبانی را از محدودیت پنجره‌ی کانتکست فراتر می‌برند، اما کیفیتشان به مدلی بستگی دارد که در حافظه می‌نویسد: چه چیزی نگه داشته شود، با چه دقتی و شواهد تازه چطور وضعیت قبلی را به‌روز کند. معمولاً یک مدل زبانی عمومی بزرگ با پر
Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
تقطیر تغییرات یادگیری تقویتی از معلم به شاگرد، فقط در جاهایی که جهت تغییر ثابت مانده
یکی از راه‌های انتقال اثر یادگیری تقویتی از یک مدل معلم به شاگرد این است که تفاوت احتمال‌های معلم قبل و بعد از یادگیری تقویتی را روی پاسخ‌های خود شاگرد به عنوان نظارت به کار ببریم. اما این تفاوت نهایی نشان نمی‌دهد که ترجیح‌ها در طول آموزش معلم پیوسته عوض شده‌ا
OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
یاد دادن به ایجنت کدنویسی که از اطلاعاتی که همین الان در کانتکستش هست استفاده کند
کدنویسی قابل اعتماد در سطح ریپو یعنی ایجنت نه فقط کد درست بنویسد، بلکه محدودیت‌ها را در طول تعامل طولانی رعایت کند و به بازخورد ابزارها واکنش نشان دهد. تحلیل نویسنده‌ها نشان داد ایجنت‌ها اغلب به اطلاعاتی که همین حالا در کانتکست دارند عمل نمی‌کنند؛ مثلاً پیام خ
Learning from Interaction Experience via Localized Context Distillation
تقطیر کانتکست فقط روی بخش‌هایی از پاسخ شاگرد که واقعاً باید اصلاح شوند
مدل‌های زبانی برای بهتر شدن در طول استفاده باید از تجربه‌ی تعامل یاد بگیرند. «تقطیر کانتکست» راه امیدوارکننده‌ای است: اطلاعات ممتازی که از تجربه به دست آمده (مثلاً «این ابزار با این آرگومان خطا می‌دهد») به یک معلم داده می‌شود و رفتار معلم به شاگردی منتقل می‌شو
Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
وقتی شاگرد اشتباه می‌کند، معلم دنبالش می‌رود: بازگرداندن نظارت قابل اعتماد با نقد معلم
تقطیر روی سیاست، مدل شاگرد را روی پاسخ‌های خودش با نظارت توکن به توکن از معلم آموزش می‌دهد و فرض می‌کند معلم از هر شروعی که شاگرد نوشته به پاسخ درست می‌رسد. نویسنده‌ها این ویژگی را «بازیابی‌پذیری معلم» می‌نامند و نشان می‌دهند روی پاسخ‌های غلط از کار می‌افتد: م
Harness Policy Distillation: Aligning Agent Policies with Runtime Semantics
آموزش مدل برای قواعد اجرایی هارنس، نه فقط برای اقدام‌ها
استقرار یک مدل عمومی به عنوان ایجنت یعنی اجرای آن داخل هارنس خاص یک محصول، که تعیین می‌کند کدام اقدام‌ها اجراشدنی‌اند، وضعیت چطور پیش می‌رود و حلقه کِی می‌تواند تمام شود. نظارت معمولی روی مسیرها نشان می‌دهد کدام اقدام انجام شده، ولی قواعد اجرایی پشت آن را پنها
SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning
یادگیری از ادامه‌ی واقعی یک «اوراکل» از همان وضعیتی که ایجنت به آن رسیده
یادگیری تقویتی برای کارهای طولانی محدود به آینده‌هایی است که سیاست فعلی می‌بیند. اگر اجراها هیچ‌وقت به رفتار مفید نرسند، هیچ روش تقسیم اعتباری نمی‌تواند برای وضعیت‌ها و عمل‌هایی که اصلاً دیده نشده‌اند نظارت بدهد. روش‌های تقطیر روی سیاست راهنمایی معلم را روی وض
Branching On-Policy Distillation
تقطیر روی سیاست با انشعاب در نقطه‌های تصمیم نامطمئن، برای پوشش بیشتر با همان بودجه
تقطیر روی سیاست روی مسیرهای تولیدشده‌ی شاگرد نظارت معلم می‌دهد، اما یک مسیر در هر تصمیم فقط یک ادامه را نشان می‌دهد و با بودجه‌ی نمونه‌برداری محدود، پوشش نظارت کم است. روش BranchOPD نقطه‌های تصمیم پراطلاعات را با عدم اطمینان شاگرد و اختلاف معلم و شاگرد انتخاب
State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents
تقطیر روی سیاست بر پایه‌ی وضعیت تعامل برای ایجنت‌های چندنوبتی: استدلال قبلی شاگرد نظارت معلم را خراب می‌کند
تقطیر روی سیاست راهی قوی برای انتقال توانایی استدلال از مدل‌های پیشرو به مدل‌های کوچک‌تر است، اما گسترش آن به محیط‌های ایجنتی چندنوبتی سخت است. معلم وقتی تاریخچه‌ی کامل شاگرد، شامل استدلال‌های قبلی‌اش، را می‌بیند، ممکن است با همان استدلال‌های غلط همراه شود. نو
Hindsight Structured Advice Distillation: Steering Executor Agents with Advisors Trained on Their Failures and Task Characteristics
تقطیر راهنمایی ساختاریافته با نگاه به گذشته: مشاوری کوچک که از شکست‌های ایجنت اصلی یاد می‌گیرد
ایجنت‌های مدل زبانی برای کار تخصصی مثل پژوهش مالی، سلامت و حقوق به کار می‌روند و اغلب برای تسک توانا هستند ولی جزئیاتش را از دست می‌دهند؛ مثلاً در مالی، این‌که کدام گزارش یک رقم را منتشر می‌کند یا شرکت یک معیار را چطور افشا می‌کند. آموزش دوباره‌ی ایجنت گران و
Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution
کدام مهارت را تقطیر کنیم؟ انتخاب یک بانک مهارت فشرده برای هم‌تکاملی مدل و مهارت
مهارت‌ها، یعنی راهنمایی رویه‌ای قابل استفاده‌ی مجدد که در زمان استنتاج اضافه می‌شود، می‌توانند کارایی مدل زبانی را خیلی بالا ببرند. کارهای قبلی مهارت‌ها را با ربط معنایی از یک بانک بازیابی می‌کنند و برای وصله‌ی زمان استنتاج یا تقطیر به کار می‌برند، اما سودمندی
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
کِی به تقطیر درون سیاست نیاز داریم؟ تقطیر روی اجراهای آفلاین دانش‌آموز اغلب بهتر است
تقطیر درون سیاست برای انتقال توانایی معلم به مدل دانش‌آموز رایج شده است: دانش‌آموز مدام پاسخ تازه تولید می‌کند و معلم آن‌ها را اصلاح می‌کند. سؤال این است که آیا نمونه‌گیری درون سیاست برای هر جفت معلم و دانش‌آموز مفید است، یا هزینه‌ی تولید مداوم پاسخ تازه گاهی
Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps
پس‌نگری آینده‌نگر: یادگیری تقویتی خودکالیبره با فاصله‌ی پیش‌بینی و واقعیت
یادگیری تقویتی برای ایجنت‌های بلندمدت فقط به سیگنال‌های گذشته‌نگر تکیه دارد: اعتبار فقط پس از مشاهده‌ی پیامد محیط تخصیص می‌یابد و باور ایجنت در لحظه‌ی عمل برای گرادیان نامرئی می‌ماند. در نتیجه ایجنت ممکن است با اطمینان زیاد شکست بخورد یا با تردید موفق شود و آم