مقاله‌ی arXiv:2610.02185 · منتشرشده در کانال
Decoding Looped Transformers Better for (Almost) Free
رمزگشایی بهتر ترنسفورمرهای حلقه‌ای تقریباً رایگان با مقایسه‌ی حلقه‌های اولیه و نهایی
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip, Richard He Bai, Yizhu Jiao, Yuyang Wang, Ruixiang Zhang
- نهاد نویسنده‌ها
- Apple
- برچسب لابراتوار
خلاصه‌ی فارسی
مسئله
ترنسفورمرهای حلقه‌ای با اجرای مکرر یک بلوک مشترک در چند حلقه کارایی پارامتری به دست می‌آورند. هر حلقه یک بازنمایی میانی قابل رمزگشایی برای همان توکن بعدی می‌دهد، اما رمزگشایی استاندارد حالت‌های قبلی را دور می‌ریزد. چون حلقه‌های اولیه محاسبه‌ی کمتری دارند، این ساختار خود به خود جفت پیش‌بینی ضعیف و قوی هم‌تراز می‌سازد.
روش
چارچوب LoopCD یک رمزگشایی مقایسه‌ای بدون آموزش است که انتخاب توکن را با مقایسه‌ی پیش‌بینی نهایی با یک گذر حلقه‌ای قبلی هدایت می‌کند، یا در فضای لاجیت با یک گذر خروجی اضافه یا در فضای حالت پنهان بدون هیچ سربار خروجی.
یافته‌ها
- در چهار خانواده‌ی ترنسفورمر حلقه‌ای بهبودهای قابل توجه و پیوسته داد: نسخه‌ی لاجیت pass@۱ مدل Ouro-2.6B-Thinking روی AIME ۲۰۲۴ را از ۶۱٫۸۸ به ۷۳٫۳۳ درصد رساند.
- نسخه‌ی حالت پنهان pass@۱ مدل Huginn روی HumanEval را از ۲۲٫۵۶ به ۳۱٫۷۱ درصد رساند.
- با نصف کردن تعداد حلقه‌ها همچنان با پایه‌ی کامل بدون هدایت برابر یا بهتر بود و محاسبات پیش‌رو را ۲۲٫۵ تا ۴۸٫۲ درصد کم کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ روش فقط برای ترنسفورمرهای حلقه‌ای کاربرد دارد.
چرا مهم است
ترنسفورمرهای حلقه‌ای راهی برای مدل‌های کوچک‌تر با استدلال عمیق‌ترند. این کار نشان می‌دهد اطلاعاتی که در حلقه‌های میانی دور ریخته می‌شود، می‌تواند هم دقت را بالا ببرد و هم محاسبه را کم کند.