Harness Policy Distillation: Aligning Agent Policies with Runtime Semantics

مسئله

استقرار یک مدل عمومی به عنوان ایجنت یعنی اجرای آن داخل هارنس خاص یک محصول، که تعیین می‌کند کدام اقدام‌ها اجراشدنی‌اند، وضعیت چطور پیش می‌رود و حلقه کِی می‌تواند تمام شود. نظارت معمولی روی مسیرها نشان می‌دهد کدام اقدام انجام شده، ولی قواعد اجرایی پشت آن را پنهان می‌گذارد؛ پس مدلی که روی این داده آموزش دیده ممکن است اقدامی بکند که هارنس اجازه‌اش را نمی‌دهد.

روش

روش HPD این قواعد کنترلی اجرا را در کنار اقدام‌ها هدف صریح آموزش می‌کند. مسیرهای مرجع را از داخل هارنس بازپخش می‌کند تا قواعد پنهان را بازیابی کند و آن‌ها را به شکل سند کنترلی در هر مرز فراخوانی مدل نشان می‌دهد. این سندها اطلاعات ممتاز برای معلم‌اند تا اقدام تولید کند، و تأیید هارنس اجراشدنی بودن هدف‌ها را تضمین می‌کند. یک مدل مشترک روی این قواعد و تاریخچه‌ی بومی آموزش می‌بیند و در استقرار بدون سند کنترلی با همان رابط اصلی هارنس کار می‌کند.

یافته‌ها

• روی TRAJECT-Bench با هارنس Pi، مدل Qwen3-8B آموزش‌دیده با HPD به ۲۲٫۹۸ درصد موفقیت خودکار و ۴۹٫۲۳ درصد پایبندی به قواعد اجرا رسید، در برابر ۳٫۰۹ و ۱۹٫۹۰ درصد برای مدل بدون تطبیق.
• اقدام‌های معلمِ تأییدشده با هارنس، سیاست استقرار را به‌طور چشمگیری بهتر کردند و نظارت مشترک بر وضعیت کنترلی بهبود بیشتری در تکمیل تسک و پایبندی داد.

محدودیت‌ها

نویسنده‌ها می‌گویند روش برای یک قرارداد اجرایی مشخص آموزش می‌دهد و استفاده در هارنس دیگر ساختن دوباره‌ی معلم و آموزش یک تطبیق‌دهنده‌ی جداگانه را لازم دارد؛ بازپخش مرجع هم فقط پیشوندهای موفق را به عنوان توزیع آموزش می‌دهد.