VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks

مسئله

ایجنت‌های کدنویسی روی تسک‌های واقعی مخزن کار می‌کنند و سیستم‌های حافظه‌ی پایدار قول استفاده‌ی مجدد از تجربه بین تسک‌ها را می‌دهند. اما ارزیابی‌های موجود نشان نمی‌دهند این سیستم‌ها کار اجرایی روی مخزن را بهتر می‌کنند یا نه: بنچمارک‌های مخزن تغییر کد را می‌سنجند اما حافظه را جدا نمی‌کنند، و بنچمارک‌های حافظه یادآوری را بدون سنجش نتیجه‌ی کدنویسی امتیاز می‌دهند.

روش

بنچمارک VibeMemBench شامل ۱۱۱ هدف کدنویسی از ۹۰ مخزن SWE-rebench V2 و ۳٬۶۳۴ مسیر تاریخی از همان مخزن‌هاست که رفع باگ، درخواست ویژگی، تغییر رابط و کار پیکربندی را پوشش می‌دهند. ایجنت هر هدف را زیر یک شرط حافظه‌ی اعلام‌شده ویرایش می‌کند و تست‌های اجرایی حل شدن را تعیین می‌کنند. هر هدف فقط وقتی نگه داشته شد که تزریق تجربه‌ی تاریخی نتیجه‌اش را در یک تنظیم مرجع بهتر کرده باشد، و این تجربه‌ی تأییدشده سپس به پنج حل‌کننده‌ی کنارگذاشته منتقل شد.

یافته‌ها

• تزریق مستقیم تجربه‌ی تأییدشده نرخ حل مشاهده‌شده را در چهار حل‌کننده از پنج ۱٫۱ تا ۴٫۵ واحد درصد بالا برد و تعداد گام‌ها را در هر پنج کم کرد.
• وقتی چهار سیستم حافظه‌ی موجود باید خودشان تجربه را از همان تاریخچه بسازند و بازیابی کنند، یازده از دوازده جفت حل‌کننده و سیستم از پایه‌ی بدون حافظه بهتر نبودند.

محدودیت‌ها

نویسنده‌ها می‌گویند بنچمارک حافظه را زیر یک پیکربندی ایجنت و قاعده‌ی حسابداری اعلام‌شده می‌سنجد، اهداف برچسب بازیابی طلایی ندارند، و به دلیل بودجه‌ی استنتاج مدل‌های پیشرو اختصاصی مثل خانواده‌های Claude و GPT در حل‌کننده‌ها نیستند.