The Silent Failures in Agentic Data Science

مسئله

ایجنت‌های علم داده وعده می‌دهند طراحی و اجرای علم داده را از تعریف تسک تا ساخت مدل خودکار کنند. ارزیابی‌های موجود کارایی پیش‌بینی و درستی کد را می‌سنجند، اما اصول پایه‌ای علم داده، یعنی دانش روش‌شناختی و دانش حوزه، را نادیده می‌گیرند. سنجش فقط کارایی نهایی، شکست‌های روش‌شناختی مثل نشت داده و اعتبارسنجی نامناسب را پنهان می‌کند؛ مثلاً ایجنتی که داده‌ی آزمون را در نرمال‌سازی به کار برده، دقت بالاتری گزارش می‌کند.

روش

نویسنده‌ها ایجنت‌های علم داده را از سه زاویه فراتر از دقت ارزیابی کردند: تحلیل بزرگ حالت‌های شکست در چارچوب‌ها و مدل‌های رایج روی ۲۲۰ تسک علم داده؛ یک مجموعه‌ی آزمون قابل استفاده‌ی دوباره با تسک‌های گزینش‌شده که شش شکست مشخص را کنترل‌شده می‌سنجد؛ و ارزیابی کیفی خط لوله‌های ایجنتی در برابر راه‌حل‌های متخصص‌ها در مسابقه‌های Kaggle.

یافته‌ها

• بیشتر راه‌حل‌های ایجنتی، صرف نظر از پیچیدگی هارنس یا ظرفیت مدل، دست‌کم یک حالت شکست دارند.
• بین وقوع نشت داده و کارایی پیش‌بینی همبستگی مثبت دیده شد، که ضرورت ارزیابی فراتر از دقت را تأیید می‌کند.
• ایجنت‌های علم داده در مقایسه با برندگان مسابقه‌ها، خلاقیت حل مسئله و دانش حوزه‌ی کمی دارند.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ آزمون کنترل‌شده فقط شش نوع شکست را پوشش می‌دهد.