Auditing Future-Memory Use in Point-in-Time Language Agents

مسئله

ایجنت‌های «نقطه‌ای در زمان» قرار است فقط با اطلاعات تا یک تاریخ مشخص در گذشته کار کنند، مثلاً برای آزمودن یک راهبرد مالی روی داده‌ی تاریخی. حتی وقتی شواهد بیرونی این مرز را رعایت می‌کنند، مدل ممکن است واقعیت‌های بعد از آن تاریخ را از حافظه‌ی خودش به یاد بیاورد. سؤال این است که آیا این دسترسی، رفتار جمع‌آوری شواهد را تغییر می‌دهد.

روش

روی ۴۸ تسک مقایسه‌ی تاریخی شرکت‌ها، پرسش‌های مستقل درآمد بدون منبع تعیین کردند هر مدل کدام شرکت را بهتر به یاد دارد، و جهت پیش‌بینی پیش از اجرای ایجنت ثابت شد. سپس اجراهای جفتی با نام واقعی یا ناشناس شرکت‌ها، با شواهد بیرونیِ معتبر از نظر زمانی، مقایسه شدند.

یافته‌ها

• هر دو مدل Qwen و DeepSeek واقعیت‌های آینده را به یاد آوردند، اما هیچ‌کدام جابه‌جایی پیش‌بینی‌شده به سمت شرکتی که بهتر به یاد داشتند را نشان ندادند.
• برآوردهای Qwen روی ۲۸ تسک منفی بودند ولی بازه‌هایشان صفر را شامل می‌شد؛ تکرار آینده‌نگر DeepSeek روی ۲۰ تسک در هر چهار معیار الگوی معکوس با بازه‌های زیر صفر نشان داد.
• در یک آزمایش پیگیری، دادن صریح واقعیت آینده جست‌وجو را کمی از شرکت مربوط دور کرد، در حالی که انتخاب نهایی به سمت آن رفت؛ سازوکار پشت الگوی معکوس حل‌نشده ماند.

محدودیت‌ها

نویسنده می‌گوید آزمایش‌ها فقط دو خانواده‌ی مدل با دقت fp8 از یک سرویس‌دهنده و ۴۸ تسک مالی تاریخی را پوشش می‌دهند، زیرمجموعه بر اساس امتیازهای یادآوری Qwen انتخاب شده، و اثر دقت استقرار بر دسترسی حافظه سنجیده نشده است.