مقاله‌ی arXiv:2610.21427 · در صف خبرنامه
Learning from Interaction Experience via Localized Context Distillation
تقطیر کانتکست فقط روی بخش‌هایی از پاسخ شاگرد که واقعاً باید اصلاح شوند
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zhezheng Hao, Yongkang Yang, Xilin Xia, Jiarui Yu, Yi Liu, Fanjunduo Wei, Peijie Dong, Tianfu Wang, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen
- نهاد نویسنده‌ها
- Tencent (Workbuddy Team), The Chinese University of Hong Kong, Zhejiang University, HKUST
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مدل‌های زبانی برای بهتر شدن در طول استفاده باید از تجربه‌ی تعامل یاد بگیرند. «تقطیر کانتکست» راه امیدوارکننده‌ای است: اطلاعات ممتازی که از تجربه به دست آمده (مثلاً «این ابزار با این آرگومان خطا می‌دهد») به یک معلم داده می‌شود و رفتار معلم به شاگردی منتقل می‌شود که آن اطلاعات را ندارد. اما هر دو شکل فعلی مشکل دارند. اگر شاگرد روی پاسخ‌های معلم آموزش ببیند، در استفاده با وضعیت‌هایی روبه‌رو می‌شود که در آموزش ندیده است. اگر روی پاسخ‌های خودش آموزش ببیند، این پاسخ‌ها اغلب چیز تازه‌ای ندارند و رفتاری را که شاگرد هنوز بلد نیست نشان نمی‌دهند.
روش
روش LoCD اول بخش‌های حساسی از پاسخ شاگرد را که نیاز به اصلاح دارند پیدا می‌کند. بعد معلم فقط همان بخش‌ها را، با شروع از پیشوند خود شاگرد، دوباره تولید می‌کند و شاگرد روی همین بخش‌های بازتولیدشده آموزش می‌بیند. به این ترتیب یادگیری روی آموزنده‌ترین وضعیت‌ها متمرکز می‌شود و فاصله با وضعیت‌های واقعی شاگرد هم کم می‌ماند.
یافته‌ها
- در استدلال ریاضی، تولید کد و تسک‌های ایجنتی، همیشه از روش‌های قوی مقایسه بهتر بود.
- آموزش پایدارتر بود و به‌روزرسانی پارامترها کوچک‌تر و پراکنده‌تر بود.
محدودیت‌ها
نویسنده‌ها در چکیده و نتیجه‌گیری محدودیت مشخصی ذکر نکرده‌اند.
چرا مهم است
برای ایجنتی که قرار است از تجربه‌ی واقعی کاربران یاد بگیرد، این روش راهی است که درس‌های تجربه وارد وزن‌های مدل شود بی آن‌که مدل رفتارهای قبلی‌اش را خراب کند: فقط جاهای مشکل‌دار اصلاح می‌شوند.