Self-Evolving Agent Harness

مسئله

خودتکاملی هارنس یعنی اسکلت نرم‌افزاری ایجنت، شامل پرامپت‌ها، حافظه، روال‌ها و اجزای اجرایی، بازنویسی شود در حالی که وزن‌های مدل ثابت می‌ماند. اما وقتی بازنویسی‌های پذیرفته‌شده از یک اجرا به اجرای بعد می‌مانند، این سؤال پیش می‌آید که از کجا بدانیم یک بازنویسی واقعاً بهبود است و چیزهایی را که قبلاً درست کار می‌کردند خراب نمی‌کند.

روش

نویسنده‌ها یک فرایند مبتنی بر بازخورد را صوری‌سازی می‌کنند که در آن «چه چیزی به‌روز می‌شود» از «چه کسی پیشنهاد می‌دهد و چه چیزی پذیرفته می‌شود» جداست. تغییر در وضعیت تفسیری (مثل متن پرامپت) از تغییر در ابزارها و کد، منطق کنترلی سطح ریپو و ترکیب افزونه‌ها جدا می‌شود. جست‌وجو را با بهینه‌سازی تکاملی توصیف می‌کنند و قابلیت اطمینانش را با نظریه‌ی یادگیری پیوسته‌ی PAC بررسی می‌کنند.

یافته‌ها

• با فرض‌های صریح، یک کران تعمیم مورد انتظار، یک کران حفظ رفتار قبلی بر اساس بودجه‌ی پسرفت، و یک قاعده‌ی پذیرش با احتمال بالا به دست می‌آید که از داده‌ی اعتبارسنجی تازه و مستقل استفاده می‌کند.
• با نمونه‌هایی از کارهای قبلی، طراحی هم‌زمان مدل و هارنس، اجرای توزیع‌شده و استفاده‌ی دوباره از افزونه‌ها را نشان می‌دهند.
• یک بحث ۶۶ صفحه‌ای درباره‌ی کارهای مرتبط، نظریه، الگوریتم‌ها، ارزیابی و اثرات اجتماعی همراه با کد به‌روزشونده منتشر شده است.

محدودیت‌ها

این کار بیشتر نظری و مروری است و ارزیابی تجربی تازه‌ای ارائه نمی‌کند؛ کران‌ها هم فقط با فرض‌های صریح برقرارند. نویسنده‌ها تأکید می‌کنند که با عوض شدن توزیع تسک‌ها و ارزیاب‌ها، اعتبارسنجی باید مداوم باشد.