Annotrace: A Workbench for Step-Level Annotation of Agent Traces

مسئله

هر پژوهشی که می‌خواهد بفهمد ایجنت‌ها چرا شکست می‌خورند، با برچسب زدن دستی ترنسکریپت‌ها شروع می‌شود و هر تیم برای این کار ابزار یک‌بارمصرف خودش را می‌سازد. پلتفرم‌های پایش، ترنسکریپت را ذخیره می‌کنند ولی امکان برچسب‌گذاری ساختاریافته ندارند. ابزارهای برچسب‌گذاری متن هم مفهومی به اسم «قدم»، «واگذاری به ساب‌ایجنت» یا «فراخوانی ابزار» نمی‌شناسند. پس حتی معلوم نیست کوچک‌ترین واحدی که باید برچسب بخورد چیست.

روش

ابزار Annotrace شش قالب ترنسکریپت را می‌خواند، از جمله OpenTelemetry GenAI و LangSmith و Langfuse، و هر اجرای ایجنت را به فهرست مرتب و تودرتویی از قدم‌ها تبدیل می‌کند. برچسب‌زن دفترچه‌ی برچسب‌های خودش را می‌نویسد. یک مدل پیشرفته از روی نمونه‌ای از ترنسکریپت‌های همان کاربر مجموعه‌ی اولیه‌ی برچسب‌ها را پیشنهاد می‌دهد، اول خودش جواب می‌دهد و دقیقاً همان سؤال‌هایی از او پرسیده می‌شود که از انسان. ابزار میزان توافق هر دو برچسب‌زن، انسان یا مدل، را هم اندازه می‌گیرد.

یافته‌ها

• روی یک مجموعه‌ی پرسش و پاسخ چندایجنتی، ۲۳۵ واحد برچسبی را که یک کار دستی قبلی ساخته بود دقیقاً بازتولید کرد.
• دو مدل که همان ترنسکریپت‌ها را برچسب زدند، در ۹۱ درصد موارد توافق داشتند؛ ضریب کاپا ۰٫۸۲ بود که یعنی توافقی خیلی بالاتر از شانس.

محدودیت‌ها

این یک مقاله‌ی کوتاه نمایشی (چهار صفحه) است و ارزیابی‌اش روی یک مجموعه داده‌ی محدود انجام شده؛ بخش جداگانه‌ای برای محدودیت‌ها ندارد.