SynAct: Synergistic Active Feedback Learning for LLM Agents

مسئله

ایجنت‌ها در گردش‌کارهای چندمرحله‌ای به دو شکل شکست می‌خورند: لغزش‌های قابل جبران که با تلاش دوباره رفع می‌شوند، و کمبود دانش که تلاش دوباره حلش نمی‌کند. بازخورد متخصص دومی را رفع می‌کند، اما توجه متخصص کمیاب است. روش‌های موجود یا از بازخورد متخصص پرهیز می‌کنند و ایجنت خطاهایش را تقویت می‌کند، یا بازخورد را در سطح تسک تخصیص می‌دهند بدون تشخیص تصمیم‌های تعیین‌کننده.

روش

چارچوب SynAct توجه متخصص را قید اصلی می‌بیند و بازخورد را در سطح تک‌تک تصمیم‌ها تخصیص می‌دهد. تصمیم‌ها را با اطلاعات متقابل بین اقدام انتخاب‌شده و نتیجه‌ی پایانی در اجراهای تکراری رتبه‌بندی می‌کند، در باارزش‌ترین تصمیم‌ها از متخصص می‌پرسد و اصلاح‌ها را به قاعده‌های قابل انتقال تقطیر می‌کند که ایجنت در استقرار بدون متخصص استفاده کند. نویسنده‌ها نشان می‌دهند تصمیم‌هایی که نتیجه را عوض نمی‌کنند اطلاعات متقابل صفر دارند، و چرا معیار مبتنی بر موفقیت وقتی همه‌ی اجراها شکست می‌خورند کور است.

یافته‌ها

• در چهار بنچمارک ایجنتی و چهار مدل از سه خانواده، دقت کنارگذاشته را در هر ۱۶ تنظیم بهتر کرد، به‌طور میانگین ۱۱٫۷ واحد درصد.
• همین سیگنال در مسیریابی زمان اجرا در ۱۵ از ۱۶ تنظیم از مسیریاب‌های آبشاری، مبتنی بر عدم اطمینان و داور متخصص با بودجه‌ی برابر بهتر بود.
• یک اصلاح هدفمند از هفت تلاش دوباره‌ی بی‌هدف بیشتر کمک کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند افت در محیط‌های تصادفی اندازه‌گیری نشده، دروازه‌ی سازگاری ممکن است شکست‌های مطمئن ولی سازگار را نبیند، متخصص یک جانشین برای انسان قوی است و هزینه‌ی نوشتن انسانی آزموده نشده است.