MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents

مسئله

بیشتر سیستم‌های حافظه‌ی ایجنت، حافظه را مستقل از پرسش می‌سازند، که می‌تواند پیش‌پردازش بی‌فایده داشته باشد و جزئیاتی را دور بریزد که بعداً ضروری می‌شوند؛ مثلاً خلاصه‌ی یک تصویر رنگ یک شیء را حذف کند که بعداً پرسیده می‌شود. مطالعه‌های اخیر پردازش حافظه را به زمان اجرا برده‌اند، اما معمولاً روی عملیات خاص یا طرح‌های ثابت تخصص دارند و کنترل انعطاف‌پذیر روی کارایی، هزینه و تأخیر کم بررسی شده است.

روش

چارچوب MemPilot یک سیاست چندمرحله‌ای مدل زبانی را با یادگیری تقویتی بهینه می‌کند تا به‌طور تکراری بین بازیابی از حافظه‌ی مستقل از پرسش و واگذاری گزینش ویژه‌ی پرسش از تاریخچه‌ی خام چندوجهی به مدل‌های زبانی و بینایی‌زبان ناهمگن انتخاب کند. سیاست هم‌زمان مقدار شواهد، دستور گزینش، انتخاب مدل و دسترسی بصری را کنترل می‌کند. برای هدف‌های رقیب، مزیت هر هدف جداگانه برآورد و سپس تجمیع می‌شود، و یک برآورد سودمندی حاشیه‌ای مبتنی بر پیشوند اعتباردهی ریزدانه در اجراهای چندمرحله‌ای را ممکن می‌کند.

یافته‌ها

• روی پنج بنچمارک حافظه‌ی ایجنت چندوجهی، با ترجیح‌های بهینه‌سازی مختلف تعادل مطلوبی بین کارایی، هزینه و تأخیر نشان داد.
• پیمایش ترجیح‌ها مرزهای گسترده‌تری از پایه‌های آگاه از تعادل موجود ساخت.

محدودیت‌ها

نویسنده‌ها می‌گویند گزینش زمان اجرا ممکن است تاریخچه‌ی تعامل را به مدل‌های بیرونی بفرستد که برای حافظه‌های حساس نگرانی حریم خصوصی ایجاد می‌کند؛ چکیده اندازه‌ی عددی بهبود را نمی‌گوید.