مقاله‌ی arXiv:2610.22331 · در صف خبرنامه
KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
پاداش دادن به ایجنت جست‌وجو بر اساس دانسته‌هایی که هر قدم واقعاً به دست آورده
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Siqi Chen, Zhengxi Lu, Yuchen Yan, Xingyu Wu, Qipeng Chen, Xin Zhang, Aiting Liu, Chao Deng, Jie Liu, Jin Ma, Weiming Lu, Jun Xiao, Yongliang Shen
- نهاد نویسنده‌ها
- Zhejiang University, Tencent
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های جست‌وجوی عمیق برای جواب دادن به سؤال‌های پیچیده ده‌ها بار جست‌وجو می‌کنند و صفحه می‌خوانند. در یادگیری تقویتی معمول، کل این مسیر فقط یک پاداش نهایی می‌گیرد، پس معلوم نیست کدام جست‌وجو مفید بوده. روش‌های نظارت بر فرایند هم اعتبار هر قدم را به وضعیت ظاهری مسیر یا سیگنال‌های درونی مدل گره می‌زنند، که در جست‌وجو با کانتکست‌های طولانی و پرنویز قابل اعتماد نیستند.
روش
روش KnowGPO اطلاعات لازم برای جواب هر سؤال را به چند «شرط دانشی» کوچک تقسیم می‌کند؛ مثلاً برای «همسر کارگردان فلان فیلم کجا به دنیا آمده؟» یکی دانستن اسم کارگردان است و یکی اسم همسرش. وضعیت مسیر در هر قدم با مجموعه‌ی شرط‌هایی که تا آن لحظه برآورده شده تعریف می‌شود. مسیرهایی که وضعیت دانشی یکسان دارند با هم مقایسه می‌شوند، و دانش تازه‌ای که هر قدم اضافه کرده پاداش همان قدم است.
یافته‌ها
- روی بنچمارک‌های Xbench و BrowseComp-ZH و GAIA، بین ۳٫۸ تا ۴٫۲ امتیاز از روش‌های فقط-نتیجه (GRPO) و روش‌های نظارت بر فرایند (GiGPO و IGPO) بهتر بود.
- مدل ۸ میلیاردی آموزش‌دیده با این روش با بیشتر سیستم‌های متن‌باز ۳۲ میلیاردی برابری کرد یا از آن‌ها جلو زد.
- کد منتشر شده است.
محدودیت‌ها
نویسنده‌ها می‌گویند روش فرض می‌کند پیشرفت در تسک را می‌شود با مجموعه‌ی محدودی از شرط‌های قابل بررسی توصیف کرد؛ این برای جست‌وجوی دانش جواب می‌دهد، نه برای کارهای بازتر. تشخیص برآورده شدن شرط‌ها هم با یک مدل زبانی است و خطایش به پاداش قدم‌ها راه پیدا می‌کند.
چرا مهم است
تقسیم اعتبار بین قدم‌های یک مسیر طولانی مشکل اصلی آموزش ایجنت‌هاست. این کار نشان می‌دهد پاداش قدم‌به‌قدم را می‌شود به چیزی ملموس، یعنی دانسته‌های تازه، گره زد به جای سیگنال‌های مبهم.