مقاله‌ی arXiv:2610.19376 · در صف خبرنامه
DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
آموزش ایجنت با حلقه‌های خودش: هر تکرار بی‌فایده یک نمونه‌ی منفی است
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Tianle Chen, Pushkar Singh, Ketan Todi, Biswajit Paria, Qijia He, Wenqi Wang, Yuwen Tan, Jike Zhong, Sugato Basu, Deepti Ghadiyaram, Arjun Akula
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌هایی که کار طولانی انجام می‌دهند اغلب کاری را که قبلاً کرده‌اند دوباره انجام می‌دهند: همان فراخوانی ابزار را دوباره می‌فرستند و دقیقاً همان نتیجه را می‌گیرند، قدمی که هیچ اطلاعات تازه‌ای ندارد. نویسنده‌ها به این «حلقه» می‌گویند. حلقه‌ها در ایجنت‌های Qwen و Llama و Gemini دیده می‌شوند و وقتی تاریخچه‌ی ایجنت برای جا شدن در پنجره‌ی کانتکست فشرده می‌شود خیلی بیشتر می‌شوند؛ در CodeGym خلاصه کردن تاریخچه نرخ حلقه‌ی Qwen3-8B را از ۲۹ به ۵۷٫۳ درصد رساند.
روش
روش DeLoop یک روش آموزش خودنظارتی است. ایده ساده است: خود اجرای ایجنت نظارت لازم را می‌دهد. عملِ حلقه‌ای یک نمونه‌ی منفی است و اولین عمل غیرحلقه‌ای بعدی در همان اجرا یک نمونه‌ی مثبت. این جفت‌ها با بهینه‌سازی مستقیم ترجیح (DPO) یاد گرفته می‌شوند و به پاداش تسک، جواب درست یا داور مدل زبانی نیازی نیست.
یافته‌ها
- در CodeGym با تاریخچه‌ی فشرده، سهم تسک‌های دارای حلقه برای
Qwen3-8Bاز ۵۷٫۳ به ۶٫۱ درصد رسید. - تعداد قدم‌ها برای هر تسک حدود یک‌سوم شد، با موفقیت مشابه.
- روی
Qwen3-32B، حلقه‌ها و قدم‌ها کم شد و موفقیت تسک از ۳۷٫۷ به ۴۴٫۸ درصد رسید.
محدودیت‌ها
نویسنده‌ها بخش جداگانه‌ای برای محدودیت‌ها ندارند؛ روش فقط حلقه‌هایی را می‌گیرد که در آن‌ها همان فراخوانی همان نتیجه را برمی‌گرداند.
چرا مهم است
هر کسی ایجنتی را بعد از کامپکشن کانتکست دیده، دیده که همان فایل را دوباره می‌خواند یا همان دستور را دوباره اجرا می‌کند. این روش این مشکل رایج را بدون هیچ برچسب یا پاداش بیرونی تا حد زیادی حل می‌کند.