مقاله‌ی arXiv:2610.17666 · در صف خبرنامه
DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter
سنجه‌ی پیشرفت «توکن تا پایان» برای پخش پاداش پایانی بین قدم‌های ایجنت چندنوبتی
- تاریخ
- (۲۱ مهر ۱۴۰۵) 2026-10-13 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Xuyan Ye, Xiyan Fu, Shengda Fan, Jiawei Cui, Yankai Lin, Wei Lu
- نهاد نویسنده‌ها
- Nanyang Technological University; Gaoling School of Artificial Intelligence, Renmin University of China
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
یادگیری تقویتی با پاداش قابل تأیید برای ایجنت‌های چندنوبتی به پاداش پایانی پراکنده تکیه دارد که درباره‌ی تک‌تک قدم‌ها چیز زیادی نمی‌گوید. مقایسه‌ی قدم‌ها درون یک گروه به تطبیق قابل اعتماد وضعیت و نتیجه‌های متنوع نیاز دارد، و امتیازدهی مستقیم به قدم‌ها ممکن است ارزیاب بیرونی گران، برچسب انسانی یا قاعده‌های خاص تسک لازم داشته باشد.
روش
روش DeltaTTG یک سیگنال پیشرفت قابل استفاده‌ی دوباره را با یک «سنجه‌ی پیشرفت» مشترک یاد می‌گیرد، با نظارت ارزان از مسیرهای ثبت‌شده‌ی سیاست‌های متنوع و بدون قاعده‌ی پیشرفت خاص تسک. هدف نظارت، «توکن تا پایان» است: تعداد توکن‌هایی که تا تکمیل تسک باید تولید شود، به عنوان جانشینی قابل مشاهده برای تلاش باقی‌مانده. در آموزش، تغییر برآوردهای سنجه‌ی منجمد، مزیت حاصل از نتیجه را بین قدم‌ها بازتوزیع می‌کند بدون تغییر پاداش، و علامت مزیت هر مسیر و مقیاس میانگینش حفظ می‌شود.
یافته‌ها
- روی ALFWorld، PaperSearchQA و BFCLv3، میانگین امتیاز را نسبت به GRPO با Qwen3-4B به اندازه‌ی ۵٫۷ و با Llama-3.1-8B-Instruct به اندازه‌ی ۷٫۲ امتیاز بهتر کرد و به‌طور میانگین از همه‌ی پایه‌های یادگیری تقویتی مقایسه‌شده بهتر بود.
- ساعت‌های GPU آموزش نزدیک به GRPO ماند.
- بازده نمونه و کارایی بیرون از حوزه بهتر شد و سنجه توانست کیفیت قدم‌ها را تشخیص دهد و در زمان اجرا انتخاب اقدام را هدایت کند.
محدودیت‌ها
نویسنده‌ها می‌گویند ارزیابی فقط دو خانواده‌ی مدل و چند حوزه را پوشش می‌دهد و انتقال گسترده‌تر تأیید بیشتر و شاید تطبیق لازم دارد.
چرا مهم است
پاداش پایانی تنها، آموزش ایجنت‌های چندنوبتی را کند می‌کند. این کار راهی ارزان برای ساختن سیگنال قدم‌به‌قدم از داده‌ی موجود، بدون ارزیاب بیرونی، نشان می‌دهد.