Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills

مسئله

مهارت‌های ایجنت‌های سازمانی با تغییر رابط‌های ابزار، مدل‌ها و مشخصات عوض می‌شوند، اما ارزیابی فقط خروجی نهایی می‌تواند رانش رفتاری در سطح فرایند را نبیند؛ مثلاً ایجنت عدد نهایی درست را بدهد اما ابزار اشتباهی را فراخوانده یا پایگاه‌داده را در وضعیت ناسازگار رها کرده باشد.

روش

نویسنده‌ها یک چارچوب ارزیابی پیوسته ساختند که بررسی‌های سطح نتیجه و سطح فرایند را ترکیب می‌کند و آن را روی دو نسخه‌ی درآمد و بهره‌وری از یک مهارت تعیین ارزش کسب‌وکار در یک سیستم سازمانی اعمال کردند. چارچوب پاسخ درست هر اجرا را مستقل محاسبه می‌کند، تست‌های قالبی قابل استفاده‌ی مجدد می‌سازد، و انتخاب ابزار، آرگومان‌ها، ترتیب اجرا و یکپارچگی پایگاه‌داده را با بررسی‌های برنامه‌ای و یک داور زبانی با دامنه‌ی محدود می‌سنجد. ۲۴۰ آزمایش با دو مهارت، دو نسخه‌ی مشخصات، دو هارنس و سه مدل اجرا شد.

یافته‌ها

• از ۱۷۵ آزمایشی که همه‌ی بررسی‌های عددی نهایی را رد کردند، ۱۶۲ مورد (۹۲٫۶ درصد) انحراف دیگری داشتند که ارزیاب تشخیص داد.
• با تعریف گسترده‌تر هفت‌بررسی وضعیت نهایی، ۱۵۱ از ۱۶۴ اجرای موفق (۹۲٫۱ درصد) همچنان یک بررسی مسیر را نقض کردند.
• نسبت دادن وابستگی، میانگین ۶٫۳۴ بررسی شکست‌خورده در هر اجرا را به ۲٫۶۵ علت ریشه‌ای کاهش داد، و حساسیت به مشخصات بسته به مدل و هارنس فرق کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند مطالعه یک سیستم سازمانی و دو مهارت مرتبط را می‌سنجد و تعمیم به انواع دیگر مهارت یا خروجی‌های غیرکمّی باز است، نمونه‌ی ۱۰ آزمایش در هر خانه برای نتیجه‌گیری درباره‌ی گرایش مرکزی و رتبه‌بندی کافی است، و اعتبارسنجی طولی زیر تحول واقعی رابط‌ها کار آینده است.