مقاله‌ی arXiv:2610.22192 · در صف خبرنامه
Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
ایجنت ترمینالی که به نوبت مسیرهای موفقش را بازنویسی می‌کند و سیاستش را بهتر می‌کند
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Junyao Yang, Zongxia Li, Yucheng Shi, Zhongzhi Li, Ruhan Wang, Ruiwen Zhou, Haitao Mi, Shuicheng Yan, Leowei Liang
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌هایی که در ترمینال کار می‌کنند باید دو چیز را یاد بگیرند: نتیجه‌ی یک بررسی‌کننده (موفق یا ناموفق) را به به‌روزرسانی مفید مدل تبدیل کنند، و پیشرفت ناقص را به حل کامل تسک برسانند. مثلاً ایجنتی که نصف یک باگ را درست کرده، باید بفهمد چه چیزی کم است.
روش
روش Terminal-RSI دو مرحله را به نوبت اجرا می‌کند: بازنویسی بازگشتی مسیرهای تأییدشده (مسیرهای موفق تمیز و دوباره نوشته می‌شوند) و بهبود بازگشتی سیاست با یادگیری تقویتی، که در آن منتقد از مرحله‌ی قبل به ارث می‌رسد. برای تخمین پاداش در کارهای چندنوبتی یک روش تازه به اسم TB-GAE ساخته‌اند. پاداش‌ها هم دو نوع‌اند: یکی پیشرفت معنایی را بین خانواده‌های تسک هم‌تراز می‌کند و دیگری موفقیت کامل را از اعتبار جزئی محدود جدا می‌کند. زنجیره‌ی پنج‌مرحله‌ای از مدل پایه‌ی Qwen3.8-27B شروع می‌شود.
یافته‌ها
- مدل نهایی Terminal-RSI-27B روی Terminal-Bench ۴٫۰ به ۱۹٫۸۴ درصد، روی Terminal-Bench ۲٫۱ به ۸۶٫۵۲ درصد، روی Terminal-Bench ۳٫۰ به ۱۶٫۹۵ درصد و روی Terminal-Bench Hard به ۷۹ درصد رسید.
- روی بنچمارک کارهای طولانی LHTB، پاداش فرایند از ۰٫۲۱ به ۰٫۳۷ رسید و تکمیل کامل از صفر به ۵ تسک از ۴۶ رسید.
- موفقیت در SWR100 دو برابر شد، از ۳ به ۶ درصد.
محدودیت‌ها
نویسنده‌ها می‌گویند هنوز نمی‌شود اثر هر جزء را جدا کرد، چون نرخ یادگیری، پاداش‌ها و نقطه‌ی شروع با هم عوض می‌شوند. سه بار ارزیابی جای چند بذر آموزش مستقل را نمی‌گیرد و برتری آماری ثابت نشده است.
چرا مهم است
یکی از گره‌های ایجنت‌های ترمینال این است که از «تقریباً درست» به «کاملاً درست» برسند. این کار دستوری مرحله‌ای می‌دهد که هر مرحله رفتارهای کشف‌شده را تثبیت می‌کند، هرچند سهم دقیق هر جزء هنوز روشن نیست.