Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows

مسئله

ایجنت‌های مالی باید بیش از بازیابی واقعیت‌ها کار کنند: گردش‌کارهای سرمایه‌گذاری اجرای کمّی درست، استفاده‌ی قابل اعتماد از منابع رویه‌ای و خروجی ساختاریافته‌ی قابل ممیزی می‌خواهند. معلوم نیست بهبودی که بسته‌های مهارت می‌دهند از دانش رویه‌ای می‌آید یا از ابزارهای محاسباتی.

روش

نویسنده‌ها مجموعه‌ی ارزیابی FinSkillBench را با ۲٬۶۰۳ اپیزود نقطه‌ای در زمان در ۱۲ زیرتسک ساخت پرتفوی، مدیریت ریسک و تحلیل بنیادی ساختند که پاسخ درست پنهان و قابل بازتولید و تأییدکننده‌های قطعی ویژه‌ی هر تسک دارد. ۱۷٬۸۲۰ اپیزود با ۹ مدل و ۳ شرایط منبع اجرا شد، و سپس سهم اسناد رویه‌ای نوشته‌ی انسان و ابزارهای اجرایی دامنه جداگانه سنجیده شد.

یافته‌ها

• در تحلیل جفتی ۸ مدل، بسته‌های مهارت گزینش‌شده میانگین امتیاز را ۱۶٫۲ امتیاز بالا بردند (از ۰٫۳۶۶ به ۰٫۵۲۸)، در حالی که مهارت‌های تولیدشده درون یک اپیزود فقط ۰٫۵ امتیاز افزودند و توکن و نوبت بیشتری مصرف کردند.
• اسناد به تنهایی ۵٫۶ امتیاز و ابزارها به تنهایی ۱۹٫۵ امتیاز افزودند و ترکیبشان کمتر از جمع دو اثر بود.
• ابزارهای اجرایی در گردش‌کارهای عددی سنگین غالب بودند و اسناد وقتی مهم‌تر بودند که راهنمای رویه یا طرح خروجی گلوگاه بود.
• یک هارنس دوم مستقل الگوی جهت را بازتولید کرد اما اندازه‌ی اثرها به نحوه‌ی در اختیار گذاشتن ابزارها و داده بستگی داشت.

محدودیت‌ها

نویسنده‌ها می‌گویند آزمایش اصلی برای هر خانه‌ی مدل، شرط و تسک فقط یک مسیر در دمای ۰٫۷ دارد، پس تغییرپذیری اجرای درون هر خانه را مستقیم نمی‌سنجد، و بنچمارک یک جهان کنترل‌شده‌ی ۳۰ سهمی بازار سهام آمریکا را پوشش می‌دهد.