AMBER: Training Long-Horizon Web Agents through Append-Only Memory

مسئله

ایجنت‌ها در مسیرهای طولانی تعامل دارند که تاریخچه‌شان سریع از بودجه‌ی کانتکست فراتر می‌رود. برای قابلیت اطمینان باید اطلاعات واقعی را نگه دارند، خطاهای اجرا و بازخورد اصلاحی را به یاد بسپارند و پیشرفت را پیگیری کنند. حافظه‌ی بازنویسی‌شونده در اصل می‌تواند هر چیزی را نگه دارد، اما باید یاد بگیرد هر واقعیت را در همه‌ی بازنویسی‌های بعدی حمل کند، که با پاداش پراکنده‌ی نتیجه سخت است؛ نویسنده‌ها دریافتند حافظه‌های بازنویسی آموزش‌دیده در ایجنت‌های وب اطلاعات کلیدی و بازخورد اصلاحی را حذف می‌کنند.

روش

چارچوب AMBER به ایجنت اجازه می‌دهد هم‌زمان استدلال، اقدام و نوشتن حافظه‌ی آزاد را یاد بگیرد، در حالی که یک قاعده‌ی فقط‌افزودنی حفظ اطلاعات را از نظر ساختاری تضمین می‌کند. تصمیم آموختنی «چه چیزی ثبت شود» از تصمیم قطعی «چه چیزی نگه داشته شود» جدا می‌شود، پس آموزش سرتاسری با یادگیری تقویتی از پاداش نتیجه بدون داده‌ی نظارت‌شده‌ی گزینش‌شده‌ی گسترده ممکن است.

یافته‌ها

• روی WebArena Lite میانگین موفقیت را ۴٫۰۹ واحد درصد بیشتر از حافظه‌ی بازنویسی کرد.
• سهم تسک‌هایی که در پنج اجرای تکراری حل می‌شوند را ۴٫۸ واحد درصد بالا برد.
• با یک پایه‌ی بازنویسی که روی نظارت گزینش‌شده‌ی خیلی گران‌تر آموزش دیده برابر شد.

محدودیت‌ها

نویسنده‌ها می‌گویند چون همه‌ی مدخل‌ها نگه داشته می‌شوند، کانتکست با تعداد گام‌ها خطی رشد می‌کند؛ در افق‌های ارزیابی‌شده این رشد در پنجره جا می‌شود، اما در افق‌های خیلی طولانی‌تر انتخاب یا تثبیت لازم می‌شود.