cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents

مسئله

ایجنت‌های استفاده از کامپیوتر که با رابط گرافیکی کار می‌کنند، در بسیاری از بنچمارک‌ها از کارایی انسان گذشته‌اند، اما سرعت و هزینه مانع اصلی استقرار گسترده‌شان است. سنجش قابل اعتماد سرعت هم سخت است، چون بنچمارک‌ها روی زیرساخت‌های پیچیده با پیکربندی‌های متفاوت ماشین و کانتینر اجرا می‌شوند و بحران بازتولیدپذیری دارند؛ مثلاً یک ایجنت روی ماشین کندتر به اشتباه کندتر به نظر می‌رسد.

روش

چارچوب cua-speedrun زیرساخت و مجموعه‌تسک‌های استاندارد با تمرکز بر سرعت و کارایی ارائه می‌دهد: یک پیکربندی یکسان ماشین مجازی و خط‌لوله‌ی اجرا، و یک رابط مشترک ایجنت که اجازه می‌دهد یک پیاده‌سازی بدون تغییر روی بنچمارک‌های مختلف کار کند. اثر سطح تلاش استدلال، هارنس ایجنت و تأخیر محیط بر کارایی، سرعت و هزینه در چهار بنچمارک سنجیده شد.

یافته‌ها

• هیچ خانواده‌ی مدلی در هر سه معیار کارایی، سرعت و هزینه بهینه نبود و هیچ مدل وزن‌بازی روی مرز پارتو نبود.
• برخلاف انتظار، برای برخی مدل‌ها افزایش تلاش استدلال تسک را سریع‌تر تمام کرد، و ورودی و خروجی سریع‌تر محیط می‌توانست زمان کل را کندتر کند.
• مجموعه‌تسک ارزیابی بیشتر بنچمارک‌ها را می‌شود بدون کاهش توان آماری کوچک کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند زمان‌ها و هزینه‌های گزارش‌شده شرایط استنتاج در زمان ارزیابی را منعکس می‌کنند و فراهم‌کننده‌ها بعداً سرعت و قیمت را تغییر می‌دهند، و زیرمجموعه‌های نماینده با تغییر توانایی ایجنت‌ها ممکن است به اعتبارسنجی دوباره نیاز داشته باشند.