مقاله‌ی arXiv:2610.18216 · منتشرشده در کانال
TextualRL: Textual Reinforcement Learning for Context Management
یادگیری تقویتی متنی: بهبود کانتکست ایجنت با مقایسه‌ی گروهی اجراهای موفق و ناموفق، بدون گرادیان
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Tianyu Huai, Jie Zhou, Bo Mao, Qin Chen, Liang He, Xipeng Qiu
- نهاد نویسنده‌ها
- East China Normal University, Shanghai Innovation Institute, Fudan University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌ها می‌توانند با بازنویسی کانتکست متنی‌ای که رفتارشان را هدایت می‌کند، بدون تغییر پارامترها به بازخورد تسک واکنش نشان دهند. اما تبدیل پاداش اجرا به به‌روزرسانی قابل استفاده‌ی دوباره سخت است: یک مسیر تنها شواهد مقایسه‌ای کمی درباره‌ی این‌که چه چیزی باید عوض شود می‌دهد، و اصلاح‌های مخصوص یک تسک وقتی وارد کانتکست مشترک شوند ممکن است بیش از حد تعمیم پیدا کنند.
روش
چارچوب TextualRL به جای یک مسیر تنها، گروهی از اجراهای یک تسک با یک کانتکست را واحد نقد قرار می‌دهد. نقد گروهی اجراهای موفق و ناموفق یک تسک را با هم مقایسه می‌کند؛ اگر همه نتیجه‌ی یکسان داشتند، از شواهد تسک‌های دیگر کمک می‌گیرد. مرحله‌ی به‌روزرسانی بین‌گروهی پیشنهادها را با شواهد جمع‌شده از همه‌ی گروه‌ها، حتی مشاهده‌هایی که پیشنهادی نساختند، بازبینی می‌کند تا محتوا و دامنه‌ی کاربردشان دقیق شود. پیشنهادهای بازبینی‌شده یک وصله‌ی متنی محدود می‌سازند و پذیرفتنش با پاداش روی داده‌ی اعتبارسنجی جدا تعیین می‌شود.
یافته‌ها
- با پنج ایجنت هدف روی شش بنچمارک ارزیابی شد.
- به طور میانگین روی شش بنچمارک، دقت آزمون را برای GPT-5.5 به اندازه‌ی ۲۴٫۴ واحد درصد و برای
Qwen3.8-27Bبه اندازه‌ی ۱۵٫۳ واحد درصد نسبت به مدل پایه بالا برد.
محدودیت‌ها
نویسنده‌ها در چکیده و نتیجه‌گیری محدودیت مشخصی ذکر نکرده‌اند و بخش جداگانه‌ای برای آن ندارند.
چرا مهم است
خیلی از تیم‌ها پرامپت ایجنتشان را دستی و از روی چند شکست اصلاح می‌کنند. این کار همان کار را منظم می‌کند: چند اجرا را با هم مقایسه کن، اصلاح را با شواهد بیشتر بازبینی کن و فقط وقتی بپذیر که روی داده‌ی جدا بهتر شده باشد.