TurnCost: Turns, Not Observations: Cache-Aware Loop Engineering for Coding Agents

مسئله

کارهای بهینه‌سازی ایجنت کدنویسی بیشتر خروجی ابزارها را فشرده می‌کنند یا بعضی نوبت‌ها را به مدل ارزان‌تر می‌فرستند. انگیزه‌شان معمولاً لاگ‌های بزرگ بیلد است، اما معلوم نیست این بهینه‌سازی‌ها در عمل چقدر جا برای صرفه‌جویی دارند.

روش

نویسنده‌ها طراحی این حلقه، شامل مدیریت کانتکست، انتخاب مدل، فشرده‌سازی و پایان دادن، را «مهندسی حلقه» می‌نامند و ۶۰۰ مسیر منتشرشده‌ی ایجنت کدنویسی را از دو اسکافولد و دو مدل زبانی تحلیل کردند. برای واگذاری به مدل ارزان‌تر هم یک شرط سربه‌سر با فرمول بسته استخراج و آزمودند.

یافته‌ها

• میانه‌ی خروجی ابزارها فقط ۱۱۸ تا ۲۸۶ توکن است و لاگ‌های بزرگ بیلد نزدیک صدک ۹۹ قرار دارند.
• ۹۸٫۶ درصد توکن‌های ورودی از کش پیشوند می‌آیند، پس قیمت‌گذاری ثابت ورودی هزینه‌ی حلقه را به‌طور میانگین حدود ۷ برابر بیش از واقع برآورد می‌کند.
• واگذاری به مدل ارزان‌تر در نیمی از تنظیم‌ها هزینه را بیشتر کرد؛ تعداد نوبت‌ها ۸۴ درصد تغییرات لگاریتم هزینه را توضیح می‌دهد، در برابر ۴ درصد برای اندازه‌ی خروجی‌ها، و گران‌ترین مسیرها بیشترین نوبت و کوچک‌ترین خروجی‌ها را دارند.

محدودیت‌ها

نویسنده‌ها می‌گویند مجموعه‌ی مسیرها برای داده‌ی تقطیر جمع شده و فیلترهایش بی‌طرف نیست، مثلاً مسیرهایی که به سقف تکرار رسیده‌اند حذف شده‌اند. همچنین نشان نداده‌اند می‌شود نوبت‌ها را بدون افت موفقیت کم کرد. ابزار TurnCost برای بازامتیازدهی منتشر شده است.