How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?

مسئله

ایجنت‌های خودکار مهندسی یادگیری ماشین در جدول‌های عمومی پیشرفت زیادی کرده‌اند و معمولاً روی ماشین‌آلات روزبه‌روز پیچیده‌تری مستقر می‌شوند: هماهنگ‌کننده‌های چندایجنتی، زیرایجنت‌های بازیابی اختصاصی و غیره. در مقابل، ایجنت‌های کدنویسی ساده‌تر اما بهتر‌شده که مدل در آن‌ها با کنش‌های خواندن، نوشتن و bash مستقیم به محیط اجرا دسترسی دارد، کمتر بررسی شده‌اند.

روش

نویسنده‌ها با بودجه‌ی زمانی برابر و همان مدل پیشرو، هارنس‌های متن‌باز پیشرفته را با یک جلسه‌ی ایجنت کدنویسی با هارنس کمینه مقایسه کردند و یک سری آزمایش حذفی نظام‌مند بزرگ‌مقیاس روی لایه‌های مختلف ماشین‌آلات، مثل کنش‌های جست‌وجو، خودمختاری و هماهنگی چندایجنتی، انجام دادند. تعمیم به هارنس‌های تولیدی هم بررسی شد.

یافته‌ها

• با بودجه‌ی زمانی و مدل یکسان، هارنس‌های متن‌باز پیشرفته هیچ برتری‌ای بر یک جلسه‌ی ایجنت کدنویسی با هارنس کمینه نداشتند.
• مدل پایه محرک اصلی کارایی بود و لایه‌های ماشین‌آلات در حالت ایجنت کدنویسی زائد شدند.

محدودیت‌ها

نویسنده‌ها می‌گویند بیشتر نتایج به MLE-bench تکیه دارد که مشکلات شناخته‌شده‌ای در اسکریپت‌های آماده‌سازی تسک دارد و چون از مسابقه‌های عمومی Kaggle ساخته شده، ممکن است در داده‌ی پیش‌آموزش آلوده شده باشد؛ آن‌ها تسک‌های خراب را اصلاح کردند. چکیده عدد مشخصی نمی‌دهد.