EPGM: Execution Provenance for Budgeted Agent Memory Retrieval

مسئله

تاریخچه‌ی اجرای ایجنت می‌تواند از پنجره‌ی کانتکست بیشتر شود و سیستم حافظه باید شواهد پشتیبان کامل را زیر یک بودجه‌ی توکن سخت بازیابی کند. شواهد ممکن است در چند رویداد اجرا پخش باشند، اما بازیاب‌های معمول پنجره‌های توکن ثابت و معیارهای k ثابت دارند که به تکه‌های جداگانه پاداش می‌دهند بدون این‌که نشان دهند مجموعه‌ی کامل شواهد در کانتکست جا می‌شود.

روش

نویسنده‌ها بازیابی حافظه‌ی ایجنت را «تکمیل شواهد با بودجه» صورت‌بندی کردند و بازه‌های دقیق طلایی را در مختصات منبع مشترک امتیاز دادند. ابتدا واحدهای منشأ هم‌تراز با منبع از آرگومان‌ها و خروجی‌های ابزار ساخته می‌شوند، سپس یک شبکه‌ی گراف رابطه‌ای باقیمانده با مقداردهی صفر، امتیازهای بازیابی متراکم منجمد را روی یال‌های منشأ نوع‌دار پالایش می‌کند. ۲٬۰۰۰ پرسش حافظه روی ۱٬۲۰۷ مسیر کنارگذاشته‌ی ISETrace ارزیابی شد.

یافته‌ها

• با امتیازدهی یکسان، واحدهای منشأ معیار پشتیبانی کامل در بودجه‌ی ۲۰۴۸ توکن را ۱۹٫۰۷ امتیاز نسبت به پنجره‌های تخت ۵۱۲ توکنی بهتر کردند و ۱۱٫۹۶ امتیاز بالاتر از بهترین اندازه‌ی تکه‌ی تخت برای هر معیار ماندند.
• با ثابت ماندن نامزدها، انتشار در گراف ۴٫۵۵ امتیاز دیگر افزود که عمدتاً وقتی بود که شواهد طلایی در چند رویداد پخش بودند.
• گسترش بر اساس هم‌رخدادی موجودیت‌ها سود مشابهی نداشت.

محدودیت‌ها

نویسنده‌ها می‌گویند پرسش‌ها را یک مدل زبانی از بسته‌های منبع انتخاب‌شده نوشته، و اعتبارسنجی انسانی ۵۰۰ پرسش کیفیت کلی را تخمین می‌زند اما برچسب‌زنی کور مستقل نیست و توافق انسانی با نوع پرسش ۷۷٫۸ درصد بود.