ActionOPD: Distilling Decisions, Not Tokens

مسئله

تقطیر یک ایجنت توانا به مدل کوچک‌تر یعنی هم‌راستا کردن رفتار شاگرد با معلم، و سؤال این است که در کدام وضعیت‌ها و با چه دانه‌بندی. تقلید آفلاین نظارت متراکم ولی وابسته به توکن می‌دهد و از ناهمخوانی توزیع وضعیت رنج می‌برد. تقطیر روی سیاست در سطح توکن این ناهمخوانی را حل می‌کند، اما معمولاً به احتمال توکن‌های معلم و توکنایزر سازگار نیاز دارد، که برای معلم‌های تجاری در دسترس نیست.

روش

نویسنده‌ها می‌گویند اقدام معنایی واحد طبیعی نظارت در تقطیر ایجنت است. روش ActionOPD در هر وضعیتی که شاگرد به آن می‌رسد، از شاگرد و از معلم جعبه‌سیاه اقدام نمونه می‌گیرد و اقدام شاگرد را بر اساس هم‌خوانی معنایی‌اش با اقدام‌های معلم پاداش می‌دهد. با بهینه‌سازی سیاست، رفتار اقدامی شاگرد با تصمیم‌های معلم هم‌راستا می‌شود، بدون بازتولید استدلال نوشته‌شده‌ی معلم یا دسترسی به احتمال توکن‌هایش.

یافته‌ها

• آموزش Qwen3-4B و Qwen3-8B با دو معلم روی تسک‌های متنوع استفاده از ابزار، به‌طور میانگین ۳٫۳ تا ۶٫۹ واحد درصد بهبود در چهار بنچمارک بیرون از توزیع داد.
• با بزرگ‌تر شدن شاگرد و قوی‌تر شدن معلم بهتر شد، بدون نیاز به خانواده‌ی مدل یا توکنایزر مشترک.
• روی τ²-bench با تقطیر آفلاین و تقطیر روی سیاست در سطح توکن رقابتی بود؛ نسخه‌ی Self-ActionOPD با معلمی از همان مدل و کانتکست ممتاز هم بررسی شد.

محدودیت‌ها

مقاله محدودیت‌ها را در بخش جمع‌بندی آورده؛ روش فقط به امکان تولید از معلم نیاز دارد، ولی نتیجه‌ها به تنظیم‌های آزموده‌شده محدودند.