Improving Environment-Agnostic Coding Agents: The Role of Scaffolding

مسئله

انتظار می‌رود مدل‌های قوی‌تر روال‌های کار را خودشان بسازند و برتری هارنس‌های دست‌ساز توسعه‌دهنده کم شود. این مقاله می‌پرسد چرا این برتری هنوز باقی است و آیا می‌شود یک ایجنت مستقل از محیط را بدون مهندسی مخصوص هر محیط بهتر کرد.

روش

نویسنده یک ایجنت مبتنی بر کدکس را با دو نسخه‌ی تقریباً یکسان از پرامپت روی ARC-AGI-3، AGI Maze و Terminal-Bench آزموده است. کد، پرامپت‌ها و ابزارهای عمومی در همه‌ی محیط‌ها یکسان است و فقط اطلاعات مخصوص محیط به عنوان ورودی داده می‌شود. تنها تفاوت دو نسخه یک دستور است: «اگر به مشکل خوردی گزارش بده و کنترل را برگردان تا خودکار ادامه داده شود».

یافته‌ها

• همین یک تغییر میانگین نمره را در ARC-AGI-3 و AGI Maze بالا برد؛ در Terminal-Bench تغییرها کوچک و دوطرفه بود.
• ایجنت عمومی، حتی با GPT-5.6-sol، هنوز از یک ایجنت مرجع مخصوص ARC-AGI-3 عقب است. آن مرجع قانون یا راه‌حل تازه نمی‌دهد، فقط سازمان‌دهی و کنترل کار را تعیین می‌کند.
• وقتی تصمیم «از اول شروع کردن مرحله» به یک کنترل‌گر اسکریپتی سپرده شد که همان قراردادی را اجرا می‌کرد که قبلاً به ایجنت گفته شده بود، بخشی از برتری ایجنت تخصصی جبران شد. در AGI Maze، تجربه‌ی آموزشی بیشتر حتی عملکرد را پایین آورد.

محدودیت‌ها

نویسنده می‌گوید این بهبودها با هزینه‌ی توکن بیشتر همراه است، و آزمایش‌ها نمی‌توانند جدا کنند که بهبود از استفاده‌ی بهتر از اطلاعات است یا فقط از محاسبه‌ی بیشتر.