مقاله‌ی arXiv:2610.16397 · نگه‌داشته برای بعد
Recursive Environment Scaling for General Long-Horizon Agents
سخت‌تر کردن بازگشتی محیط‌های بنچمارک بدون تغییر هدف تسک، برای ارزیابی و آموزش ایجنت
- تاریخ
- (۲۰ مهر ۱۴۰۵) 2026-10-12 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Lingxiao Jing, Zhengbo Jiao, Yichen Xiang, Bofan Zhu, Lingbei Meng, Yan Ni, Haorui Chen, Ran Ran, Zhirong Shen, Yuheng Yang, Chenhang Cui, Yaosong Du, Rui Huang
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بنچمارک‌های ایجنتی زود اشباع می‌شوند و ساختن بنچمارک تازه گران است. نویسنده‌ها راه دیگری بررسی می‌کنند: سخت‌تر کردن محیط یک بنچمارک موجود، در حالی که هدف اصلی تسک ثابت می‌ماند. مثلاً همان تسک «گزارش ماهانه را بساز»، ولی این بار داده‌ها در دو منبع جدا هستند و یکی به دیگری وابسته است.
روش
چارچوب RES محیط‌های بنچمارک موجود را با حفظ هدف و شرط تکمیلشان تغییر می‌دهد. یک پیشنهاددهنده دسترسی به اطلاعات، رابطه‌ی منابع و وابستگی‌های اجرایی را عوض می‌کند؛ بررسی‌های مبتنی بر اجرا نامزد را تأیید می‌کنند و تغییرهای پذیرفته‌شده در دورهای بعد به ارث می‌رسند. نتیجه، محیط‌های مرتبطی است برای ارزیابی جفتی و جمع‌آوری مسیر آموزشی.
یافته‌ها
- روی ۲۹۴ تسک اولیه از سه بنچمارک، موفقیت هر شش مدل ارزیابی پایین آمد؛ در Claw-Eval-Live بین ۵۷ تا ۷۷ واحد درصد.
- با تعداد مسیر برابر و تنظیمات یکسان، آموزش روی مسیرهای RES در هر نه مقایسه‌ی مدل و بنچمارک ۷ تا ۱۴٫۶ واحد درصد از آموزش روی مسیرهای اصلی بهتر بود.
- به ارث رسیدن بازگشتی تغییرها و ترکیب وابستگی‌ها مهم‌ترین عوامل افزایش سختی بودند.
محدودیت‌ها
نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند و کد هنوز منتشر نشده است.
چرا مهم است
به جای ساختن بنچمارک تازه از صفر، می‌شود محیط‌های موجود را کنترل‌شده سخت‌تر کرد. این هم ارزیابی را از اشباع نجات می‌دهد و هم داده‌ی آموزشی سخت‌تر و مفیدتری می‌سازد.