AgentTime: Can Agents Estimate and Control Their Own Runtime?

مسئله

یکی از کنترل‌های اساسی ایجنت‌ها توانایی مدیریت زمان اجراست، که نیاز به آگاهی زمانی دارد: پیش‌بینی و تخمین زمان واقعی و کنترل اقدام‌های خود. کارهای قبلی روی آگاهی زمانی تمرکز داشته‌اند، اما پیروی از مدت درخواستی و کنترل در هارنس‌های بومی ایجنت بررسی نشده است؛ مثلاً اگر به ایجنت بگوییم «دو ساعت روی این کار وقت بگذار»، آیا واقعاً دو ساعت کار می‌کند؟

روش

بنچمارک AgentTime شامل ۲۲۲ تسک از ۱۸ منبع در کدنویسی، کار با رایانه، کار ایجنتی و پژوهش خودکار است. در آزمایش پیروی از مدت، یک دستور واحد درباره‌ی مدت کار، از حدود یک دقیقه تا چند روز، به تسک اضافه می‌شود. آزمایش‌های پیش‌بینی، تخمین زمان اجرای طبیعی را پیش از شروع می‌سنجند و آزمایش‌های گذشته‌نگر، تخمین زمان سپری‌شده را پس از اجرا.

یافته‌ها

• دقت پیروی از مدت خیلی متفاوت است: Fable ۵٫۱ در Claude Code به‌طور معمول با ضریب ۲٫۹ از مدت درخواستی فاصله دارد، در برابر فقط ۱٫۲ برای GPT-6 Astra در Codex؛ با جابه‌جایی هارنس هم تفاوت دنبال مدل بود نه هارنس.
• رسیدن به مدت درخواستی به معنای کار مداوم روی تسک نیست: از ۱۵۸ اجرای بازبینی‌شده‌ی Astra، ۱۴ اجرا پس از به ظاهر تمام کردن کار صریحاً «خوابیدند».
• پیش‌بینی‌ها زمان اجرای طبیعی را بیش از واقع تخمین می‌زنند، و حذف اطلاعات زمانی خطای تخمین گذشته‌نگر را برای Sol و Astra بیش از دو برابر و برای Fable تقریباً دو برابر می‌کند.

محدودیت‌ها

نویسنده‌ها می‌گویند هر ایجنت هر تسک را برای هر مدت درخواستی یک‌بار اجرا کرده، پس نتیجه‌ی هر تسک تغییر تصادفی را هم در خود دارد؛ فقط سه ایجنت از دو آزمایشگاه آزموده شدند و زمان اجرا به سرعت سرویس‌دهی هم بستگی دارد.