Stateless Language Agents: Scaling Long-Horizon Automated Research

مسئله

سیستم‌های پژوهش خودکار ایجنت‌ها را در افق‌های طولانی اجرا می‌کنند، اما استنتاج بیشتر به خودی خود پیشرفت بیشتر نمی‌آورد: ایجنت‌ها تاریخچه‌ی رو به رشد را تکرار می‌کنند، کار همدیگر را دوباره انجام می‌دهند یا آزمایش را متوقف می‌کنند در حالی که مصرف توکن ادامه دارد. بیشتر ارزیابی‌ها بودجه‌ی کوتاه یا بنچمارک‌هایی دارند که زود اشباع می‌شوند، پس این حالت‌های شکست آزموده نمی‌شوند.

روش

نویسنده‌ها این شکست‌ها را به دو انتخاب نسبت دادند: وضعیت پژوهش کجا نگه داشته می‌شود و چه کسی تصمیم می‌گیرد چه چیزی آزموده شود. در «ایجنت‌های زبانی بی‌وضعیت»، هیچ ایجنتی گفت‌وگویش را بین فراخوانی‌ها حمل نمی‌کند؛ هارنس مالک وضعیت پژوهش، یعنی راه‌حل‌های نامزد و نتیجه‌های اندازه‌گیری‌شده، است و برای هر فراخوانی یک کانتکست تازه و ویژه‌ی نقش می‌سازد. یک مشاور بی‌وضعیت شواهد خلاصه‌شده را در جهت‌های مختلف جست‌وجو می‌خواند و آزمایش‌های مشخص را به کارگرهای موازی واگذار می‌کند.

یافته‌ها

• در مقایسه با سه چارچوب اخیر روی مهندسی نرم‌افزار، بهینه‌سازی کرنل و طراحی الگوریتم با بودجه‌های تا یک میلیارد توکن، در هر تسک بهترین نتیجه‌ی نهایی را گرفت.
• به کارایی نهایی قوی‌ترین پایه در بهینه‌سازی کرنل با بیش از ۸۴ درصد توکن کمتر رسید.
• آزمایش‌های حذفی نشان داد کانتکست متمرکز و واگذاری صریح هرکدام سهم دارند و اثرشان در اجراهای کامل می‌تواند انباشته شود، در حالی که مشاور کمتر از ۰٫۶ درصد توکن‌ها را مصرف می‌کند.

محدودیت‌ها

نویسنده‌ها می‌گویند به دلیل هزینه بیشتر پیکربندی‌ها یک‌بار اجرا شده‌اند، مقایسه‌ها بر اساس توکن است و هزینه‌ی اجرای آزمایش‌ها را در بر نمی‌گیرد، و همه‌ی تسک‌ها ارزیاب اجرایی دارند، پس هدف‌های مبهم یا کندارزیابی آزموده نشده‌اند.