On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

مسئله

سؤال این است که آیا ایجنت‌های کوچک می‌توانند زیر بودجه‌ی صریح زمان واقعی کار کنند، یعنی هم زمان تخصیص‌یافته را رعایت کنند و هم از زمان موجود برای بهتر کردن نتیجه استفاده کنند. مثلاً ایجنتی که ۱۵ دقیقه برای یک مسابقه‌ی یادگیری ماشین وقت دارد، نباید پس از ۲ دقیقه دست بکشد یا ۴۰ دقیقه کار کند.

روش

نویسنده‌ها Qwen3.6-27B را روی پنج مسابقه از MLE-Bench Lite و Qwen3-4B را روی بازی متنی Zork I ارزیابی کردند، دو بنچمارکی که زمان بیشتر می‌تواند کارایی را بهتر کند. دو دسته مداخله را بررسی کردند: سازوکارهای هارنس که اطلاعات زمان را نشان می‌دهند و مهلت را اعمال می‌کنند، و یادگیری تقویتی با پاداش آگاه از بودجه.

یافته‌ها

• وقتی بودجه فقط در پرامپت گفته شود، ایجنت‌ها نمی‌توانند آن را به استفاده‌ی کنترل‌شده از زمان تبدیل کنند، چون هارنس بازخورد زمانی نمی‌دهد، مدت اقدام‌ها را پیش‌بینی نمی‌کنند و نگاشتی از زمان موجود به راهبرد مناسب ندارند.
• تزریق اطلاعات زمان از طریق هارنس رعایت بودجه را برای Qwen3.6-27B بدون افت کارایی قابل اندازه‌گیری خیلی بهتر کرد و قلاب‌های اعمال مهلت آن را باز هم سخت‌تر کردند.
• یادگیری تقویتی روی Zork I رعایت تقریباً کامل بودجه داد و به بودجه‌های دیده‌نشده تعمیم یافت، اما روی MLE-Bench کارایی را بهتر نکرد؛ ایجنت‌ها حتی وقتی بودجه را رعایت می‌کنند از زمان اضافه برای بهتر کردن نتیجه استفاده نمی‌کنند و اغلب آن را با اقدام‌های تکراری پر می‌کنند.

محدودیت‌ها

نویسنده‌ها می‌گویند سیاست آموزش‌دیده دچار فروپاشی راهبرد بین بودجه‌ها می‌شود: در Zork اجراها با بودجه‌های متفاوت با همان دنباله‌ی حفظ‌شده شروع می‌شوند و به همان امتیاز می‌رسند، و بودجه فقط مقدار اقدام‌های پرکننده را تغییر می‌دهد.