Learning How to Remember: Memory Modality Selection for GUI Agents

مسئله

ایجنت‌های رابط گرافیکی مبتنی بر مدل بینایی-زبان برای استفاده از تجربه‌های قبلی به حافظه مجهز می‌شوند، اما معمولاً یک نوع نمایش ثابت دارند و تجربه‌ی بازیابی‌شده را همیشه به یک شکل، مثلاً فقط متن یا فقط تصویر صفحه، می‌دهند. معلوم نیست یک نوع حافظه همیشه بهترین است یا ترجیح در طول قدم‌های تعامل عوض می‌شود.

روش

نویسنده‌ها نوع حافظه را در ایجنت‌های رابط گرافیکی به‌طور نظام‌مند بررسی کردند. بر اساس یافته‌ها، چارچوب SwitchMem را ساختند که در هر قدم به‌طور پویا بین نمایش متنی و تصویری حافظه انتخاب می‌کند.

یافته‌ها

• در بنچمارک‌های رابط گرافیکی، نمایش ترجیحی حافظه به‌شدت به قدم وابسته است و نه حافظه‌ی متنی و نه تصویری همیشه برتر نیست.
• روی سه بنچمارک رابط گرافیکی، SwitchMem از پایه‌هایی که نمایش ثابت حافظه دارند بهتر بود.

محدودیت‌ها

نویسنده‌ها می‌گویند ارزیابی روی بنچمارک‌های رابط موبایل اندروید و تنظیمات کنترل‌شده متمرکز است و تعمیم به iOS و نسخه‌های جدیدتر اندروید تأیید نشده؛ ارزیابی آنلاین هم با شبیه‌ساز انجام شده نه دستگاه واقعی.