مقاله‌ی arXiv:2610.22174 · در صف خبرنامه
Mosaic: Multi-Session Agentic Reinforcement Learning
یادگیری تقویتی برای ایجنت‌هایی که کارشان در چند سشن جدا انجام می‌شود، مثل کامپکشن یا ساب‌ایجنت
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yilong Xu, Minrui Xu, Xinyu Zhou, Xiang Long, Haochen Tan, Zhijiang Guo
- نهاد نویسنده‌ها
- HKUST (Guangzhou), Huawei Foundation Model Lab, City University of Hong Kong, HKUST
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بیشتر روش‌های یادگیری تقویتی برای ایجنت‌ها فرض می‌کنند کل مسیر در یک سشن و یک کانتکست پیوسته انجام می‌شود. اما در عمل، تکنیک‌هایی مثل کامپکشن کانتکست و ساختن ساب‌ایجنت مسیر را به چند سشن تقسیم می‌کنند. روش رایج این است که پاداش کل مسیر را به همه‌ی سشن‌ها یکسان بدهند، که فرقی بین سشن مفید و بی‌فایده نمی‌گذارد و به مدل یاد نمی‌دهد کِی سشن تازه باز کند.
روش
نویسنده‌ها حالت کلی‌تر «یادگیری تقویتی چندسشنی» را تعریف کرده‌اند و روش Mosaic را برایش ساخته‌اند که بدون مدل منتقد و در دو سطح کار می‌کند. در سطح مسیر، تعداد سشن‌های استفاده‌شده در تخمین مزیت حساب می‌شود. در سطح سشن، سهم هر سشن بر اساس برآورد اثر حاشیه‌ای‌اش در نتیجه تنظیم می‌شود.
یافته‌ها
- روی BrowseComp با مدل
Qwen3.5-4B، Mosaic هم در حالت کامپکشن کانتکست و هم در حالت ساختن ساب‌ایجنت از روش پخش یکسان پاداش بهتر بود. - همزمان به طور میانگین سشن‌های کمتری مصرف کرد.
- تحلیل‌ها نشان داد کارایی هر سشن و تخصیص سشن‌ها بهتر شده است.
محدودیت‌ها
آزمایش‌ها روی یک بنچمارک و یک مدل کوچک انجام شده؛ نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند.
چرا مهم است
هارنس‌هایی مثل کلاد کد مدام کانتکست را کامپکت می‌کنند یا کار را به ساب‌ایجنت می‌دهند، ولی مدل‌ها برای کار در یک سشن آموزش دیده‌اند. این کار این ناهماهنگی بین آموزش و استفاده را مستقیم هدف می‌گیرد.