Does an Agent's History Tell You When Compaction Will Hurt? A Modest, Bounded Effect on the TRACE Paired-Replay Corpus

مسئله

بسیاری از ایجنت‌های بلندمدت کانتکست را با یک قاعده‌ی سراسری، معمولاً بودجه‌ی توکن، فشرده می‌کنند و به این‌که ایجنت در آن لحظه چه می‌کرد توجهی ندارند؛ مثلاً ممکن است درست وسط یک ویرایش چندمرحله‌ای خلاصه‌سازی کنند. سؤال این است که آیا رفتار اخیر ایجنت پیش‌بینی می‌کند فشرده‌سازی کِی آسیب می‌زند.

روش

نویسنده‌ها از مجموعه‌ی عمومی TRACE با ۵۹۰ مرز فشرده‌سازی در AppWorld استفاده کردند که هر مرز را از وضعیت پیشوند اجرادوباره‌شده با کانتکست پیش از فشرده‌سازی و با خلاصه بازپخش می‌کند و بار اقدام‌های بعدی، یعنی فراخوانی‌های خطادار یا تکراری، را ثبت می‌کند. سپس پیش‌بینی‌کننده‌های مختلف آسیب را آموزش دادند و روی داده‌ی کنارگذاشته سنجیدند.

یافته‌ها

• تاریخچه‌ی پیش از مرز آسیب پس از فشرده‌سازی را فقط ضعیف پیش‌بینی می‌کند؛ یک مقایسه‌ی از پیش تعیین‌شده نتیجه‌ی تهی داد و برچسب ساده‌ی «نوشته است» در واقع فاز مسیر را می‌سنجید.
• بهترین ماشه به AUROC کنارگذاشته‌ی ۰٫۶۶ رسید، در برابر سقف ۰٫۷۲ از تکرار همان مرز.
• بهترین ماشه‌ی تفسیرپذیر منجمد از ۲۱ درصد مرزهای زیان‌بار پرهیز کرد و ۸۴ درصد فرصت‌های فشرده‌سازی را نگه داشت، و از قاعده‌ی تصادفی در تعداد بهتر بود اما نه در حجم بار.

محدودیت‌ها

نویسنده‌ها می‌گویند شواهد ماشه‌ای که طراح هارنس روی این مجموعه بپذیرد نشان نمی‌دهد، برتری نسبت به قاعده‌ی تصادفی فقط دو تا هفت واحد است، و مقایسه با قاعده‌ی بودجه‌ی توکن با نگه‌داشت برابر روی داده‌ی منتشرشده ممکن نیست.