Fresh at Decision, Stale at Action: Routing New Information to LLM Decisions Already Made

مسئله

تازگی اطلاعات، تصمیم مدل زبانی را در لحظه‌ی گرفتنش شکل می‌دهد، اما عملی که به آن متعهد شده بعداً و در دنیایی که تغییر کرده انجام می‌شود. مثلاً ایجنت امروز تصمیم می‌گیرد هفته‌ی بعد بلیت بخرد، ولی تا آن موقع پرواز لغو شده است. اطلاعاتی که بعد از تصمیم منتشر می‌شود، باید به تصمیم‌های متأثر برسد.

روش

نویسنده‌ها یک «نظریه‌ی برچسب زمانی» برای اعتبار تصمیم پیشنهاد می‌کنند و یک «دفتر تصمیم» که آن را پیاده می‌کند. شش برچسب زمانی یک تصمیم را تعریف می‌کنند و یک «سقف تازگی» مشخص می‌کند شواهد به‌روز در لحظه‌ی تصمیم چه چیزی را در لحظه‌ی عمل تضمین می‌کند. دقت به دو توانایی تقسیم می‌شود: «مسیریابی»، یعنی رساندن خبر تازه به تصمیم‌های متأثر پیش از مهلت بازنگری‌شان، و «قضاوت زمانی»، یعنی خواندن آن خبر برای زمان عمل. دفتر برای هر تصمیم زمان‌ها، شواهد و دانش پس‌زمینه را نگه می‌دارد و با «شرط‌های مراقبت» که هنگام تصمیم نوشته شده‌اند نمایه می‌شود.

یافته‌ها

• جریان‌های تصمیم کنترل‌شده با برچسب دقیق، چهار پیش‌بینی نظریه را در پنج مدل از ۸ میلیاردی تا پیشرو تأیید کرد: تازگی به‌تنهایی دقیقاً همان دقتی را می‌دهد که سقف پیش‌بینی می‌کند.
• مدل‌ها وقتی خبر تعیین‌کننده برسد بر اساسش عمل می‌کنند، پس دقت تابع مسیریابی است؛ و شرط‌های مراقبت با هزینه‌ی کم به وابستگی‌های غیرمستقیم هم می‌رسند.
• خطاهای باقی‌مانده بیشتر درباره‌ی این است که یک تغییر از کِی اثر می‌کند.

محدودیت‌ها

نویسنده‌ها می‌گویند جریان‌های تصمیم عمداً ساختگی‌اند تا زمان و برچسب کاملاً کنترل شود؛ خبرهای واقعی طولانی‌تر و پرنویزترند و وابستگی‌ها ممکن است ضمنی باشند، پس مقدارهای گزارش‌شده فقط برای همین جریان‌هاست.