مقاله‌ی arXiv:2610.13058 · در صف خبرنامه
Travel Back To Move Forward: Retrospective Exploration and Evolving for Long Horizon Agents
ایجنتی که محیط را به عقب برمی‌گرداند ولی دانسته‌هایش را با خود جلو می‌برد
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Ziang Ye, Wentao Shi, Lei Chen, Zhengzhou Cai, Yu Wang, Zhiyuan Yao, Zihan Wang, Xierui Song, Fuli Feng, Yixin Cao
- نهاد نویسنده‌ها
- University of Science and Technology of China; Shanghai Innovation Institute; Zhejiang University; Tsinghua University; Meituan; Fudan University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های مدل زبانی در محیط‌های طولانی کار می‌کنند و یک اشتباه زودهنگام می‌تواند زنجیره‌ای از شکست بسازد و ایجنت را در مسیری بن‌بست گیر بیندازد. مثلاً در بازی Sokoban یک جعبه که به گوشه رانده شد دیگر قابل جابه‌جایی نیست و ادامه دادن بی‌فایده است. ایجنت باید بتواند از چنین وضعی بیرون بیاید و از تجربه‌ی کاوش ناموفقش برای تصمیم‌های بعدی استفاده کند.
روش
چارچوب ReTRAIL به ایجنت اجازه می‌دهد محیط را به وضعیت قبلی برگرداند، پیشرفت معتبر را نگه دارد و دانسته‌های کاوش رهاشده را با خود ببرد: وضعیت محیط عقب می‌رود ولی دانش ایجنت جلو. یک سیاست مشترک با دو سیگنال آموزش می‌بیند: State-Anchored GRPO ادامه‌های مختلف از وضعیت‌های بازدیدشده را برای بهتر کردن اجرا مقایسه می‌کند، و یک پاداش پیشرفت شاخه، بازتاب ایجنت را با پیشرفت کاوش بعدی هدایت می‌کند.
یافته‌ها
- روی چهار بنچمارک تعاملی MineSweeper، Sokoban، ALFWorld و ScienceWorld، صرفِ اضافه کردن امکان برگشت سود کمی داشت و حتی گاهی کارایی را پایین آورد.
- در مقابل، ReTRAIL به ایجنت امکان داد از وضعیت‌های بی‌ثمر برگردد و از درس‌های شاخه‌های رهاشده برای کاوش بعدی استفاده کند.
محدودیت‌ها
نویسنده‌ها می‌گویند چارچوب فرض می‌کند بازگرداندن وضعیت با اسنپ‌شات یا ریست و بازپخش ممکن است، که دومی گذار قطعی و وضعیت بیرونی قابل ریست می‌خواهد؛ گسترش به محیط‌هایی با بازگشت تقریبی کار آینده است.
چرا مهم است
ایجنت‌هایی که روی کارهای طولانی کار می‌کنند، اغلب در مسیر غلط گیر می‌کنند. این کار نشان می‌دهد فقط دکمه‌ی برگشت کافی نیست و ایجنت باید یاد بگیرد از اشتباه رهاشده‌اش درس بگیرد.