Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations

مسئله

ارزیابی‌های هوش مصنوعی پیشرو بیش از پیش از تسک‌های باز، ایجنتی و بلندمدت استفاده می‌کنند که رونوشتشان می‌تواند صدها صفحه خروجی و اقدام از شبکه‌های چندایجنتی پیچیده باشد. پس دامنه‌ی آنچه ارزیاب‌ها می‌توانند به‌طور قابل اعتماد درباره‌ی رفتار ایجنت استنتاج کنند تنگ‌تر می‌شود. دستیارهای مدل زبانی می‌توانند کمک کنند، اما به ارزیاب آزادی تحلیلی زیادی می‌دهند که بازتولیدپذیری و ممیزی‌پذیری را تهدید می‌کند.

روش

بسته‌ی متن‌باز Transect بر پایه‌ی Inspect Scout به ارزیاب‌ها کمک می‌کند بفهمند یک اجرای طولانی چطور پیش رفت، رفتارهای ارزش بررسی را پیدا کنند و تفسیرها را با رونوشت بسنجند. کاربر کانتکست تسک و واژگان رفتاری را در یک پیکربندی قابل استفاده‌ی مجدد تعریف می‌کند و مدل‌های داور جدا تنظیم می‌شوند. گزارش‌های پیمایش‌پذیر رویدادها، مصرف توکن، فعالیت زیرایجنت‌ها و برچسب‌های رفتاری را روی یک خط زمانی مشترک نوبت‌محور هم‌تراز می‌کنند و هر برچسب تا نوبت‌های منبعش قابل ردیابی است.

یافته‌ها

• این گردش‌کار روی یک ارزیابی پژوهش و توسعه‌ی هوش مصنوعی با نزدیک به ۱۳ میلیون توکن نشان داده شد و کار ایجنت‌ها را به فازهای رفتاری هم‌راستا با مهارت‌های پژوهشی، واگذاری به زیرایجنت‌ها و مصرف توکن تقسیم کرد.
• دید ترکیبی تمرکز روی کار عملیاتی و تولید مقاله را نشان داد، با شواهد کمی از یک مرحله‌ی پایدار تولید فرضیه که برای خروجی علمی باکیفیت لازم است.

محدودیت‌ها

نویسنده‌ها می‌گویند اسکنر ممکن است فعالیت‌های پراکنده یا فرعی را هنگام دادن یک برچسب اصلی کمتر تشخیص دهد، پس نبود یک برچسب شاهد ضعیفی بر نبود آن رفتار است.