OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport

مسئله

ایجنت‌ها از برنامه‌ریزی سفر و معامله‌ی سهام تا رسیدگی به حادثه‌های فناوری اطلاعات به کار می‌روند و بیشتر وقت‌ها با حداقل حفاظت قاعده‌محور مستقل کار می‌کنند، که به هزینه و خطر اقدام‌های برگشت‌ناپذیر منجر می‌شود. راه‌حل‌های فعلی یا یک ایجنت محافظ برای پایش می‌گذارند که به هر گام هزینه و تأخیر اضافه می‌کند، یا لاگ‌ها را پس از اجرا بررسی می‌کنند که وقتی حکم می‌رسد توکن‌ها سوخته و آسیب وارد شده است.

روش

سازوکار OnTrack گام‌ها و وابستگی‌های ایجنت را به‌طور جریانی با اجراهای موفق ثبت‌شده مقایسه می‌کند تا در حدود یک میلی‌ثانیه برای هر گام به کاربر هشدار دهد یا ایجنت را متوقف کند. مسئله در سه سطح دسترسی بررسی شد: دسترسی کامل به اجراهای تاریخی و شِمای ابزارها، فقط شِمای ابزارها، و بدون دانش قبلی فقط با لاگ گام‌ها. با کاهش دسترسی، توانایی از تشخیص نقض برنامه به تشخیص حلقه، توقف و فراخوانی تکراری ابزار محدود می‌شود.

یافته‌ها

• روی مسیرهای SWE-bench و بر اساس فقط ۸ گام اول، مسیرهای شکست‌خورده را بهتر از روش‌های شباهت محتوایی پایین‌تر از مسیرهای موفق رتبه داد، با بهبود ۰٫۰۵۷ در معیار AUROC.
• با یک سیاست توقف، حدود ۱۸ درصد محاسبه‌ای که روی اجراهای شکست‌خورده می‌سوخت صرفه‌جویی شد و ۸۳ درصد اجراهای قطع‌شده واقعاً به سمت شکست می‌رفتند، یعنی ۵ از ۶ توقف درست بود.

محدودیت‌ها

نویسنده‌ها می‌گویند روش موفقیت را پیش‌بینی نمی‌کند بلکه ناهنجاری‌های فرایندی مرتبط با شکست را می‌یابد؛ با کنترل طول مسیر، معیار AUROC به ۰٫۵۲۶ نزدیک شانس می‌رسد، و تکه‌های کوتاه از گام‌های واقعی تسک‌های دیگر تقریباً تشخیص داده نمی‌شوند.