مقاله‌ی arXiv:2610.18807 · نگه‌داشته برای بعد
SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection
تزریق انتخابی اسکیل در یادگیری تقویتی ایجنتی، فقط وقتی برآورد شود واقعاً کمک می‌کند
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Wenlin Zhong, Hao Wang, Kun Yuan, Fan Yang, Jinluan Yang, Dian Jin, Xu Tan, Yiquan Wu, Kun Kuang
- نهاد نویسنده‌ها
- Zhejiang University; Kuaishou Technology; University of the Chinese Academy of Sciences; Zhejiang University of Science and Technology
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
اسکیل‌های متنی می‌توانند با تقطیر تعامل‌های قبلی به راهنمای قابل استفاده‌ی دوباره، کاوش ایجنت را در یادگیری تقویتی بهتر کنند. اما روش‌های موجود یا فرض می‌کنند تزریق اسکیل همیشه مفید است یا برای سنجش سودش به بازخورد غیرمستقیم یا اجراهای پرهزینه تکیه می‌کنند. آزمایش‌های اولیه‌ی نویسنده‌ها نشان داد برآورد سود با اجرا پرهزینه و ناپایدار است و سود هر اسکیل به توانایی فعلی سیاست روی هر پرسش بستگی دارد.
روش
چارچوب SkillScaffold با استفاده‌ی دوباره از مسیرهای آموزشیِ تأییدشده با نتیجه، اسکیل‌های نامزد می‌سازد و سودشان را با مقایسه‌ی احتمال آگاه از نتیجه برآورد می‌کند، بدون اجرای جداگانه در محیط برای هر نامزد. این سود تعیین می‌کند آیا و کدام اسکیل تزریق شود؛ اگر هیچ نامزدی مفید برآورد نشود، اجرا بدون اسکیل می‌ماند. مولد اسکیل همراه با اجراکننده آموزش می‌بیند، و آموزش طوری است که اسکیل‌ها در مدل درونی شوند تا در زمان اجرا بدون اسکیل کار کند.
یافته‌ها
- روی ALFWorld، WebShop، ScienceWorld و τ²-Bench، در تسک‌های کوتاه و طولانی از پایه‌های قوی یادگیری تقویتی ایجنتی و مبتنی بر اسکیل بهتر بود.
- آزمایش‌های حذفی اهمیت انتخاب بر اساس سود و خودداری از تزریق را تأیید کردند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده عدد مشخصی برای اندازه‌ی بهبود نمی‌دهد.
چرا مهم است
دادن راهنمای اشتباه به ایجنت می‌تواند از ندادن راهنما بدتر باشد. این کار راهی ارزان برای تشخیص این‌که کِی راهنما کمک می‌کند ارائه می‌دهد.