مقاله‌ی arXiv:2610.20665 · در صف خبرنامه
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
دنیا منتظر نمی‌ماند: سنجیدن ایجنت‌ها وقتی بازی در حین فکر کردنشان ادامه دارد
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Ningxin Pan, Hanyu Li, Yeqing Shen, Ning Ding, Yehui Tang, Wentao Zhang
- نهاد نویسنده‌ها
- Peking University, Samsung Research (Beijing)
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های مدل زبانی کارهای تعاملی پیچیده را حل می‌کنند، اما استدلال و فراخوانی ابزار زمان می‌برد. در محیطی که مدام تغییر می‌کند، یک عمل درست ممکن است خیلی دیر برسد؛ مثلاً در یک بازی، تا مدل تصمیم بگیرد به کدام سمت برود، مانع رسیده است. بیشتر بنچمارک‌ها محیط را در زمان فکر کردن مدل متوقف می‌کنند.
روش
بنچمارک RealtimeBench با ۱۸۰ تسک در شش نوع بازی، ایجنت‌ها را در حالی می‌سنجد که بازی در حین استدلال ادامه دارد. نویسنده‌ها روش TORSI را هم پیشنهاد می‌کنند: یک معلم کند بین دو تلاش، شکست‌ها را در بازی متوقف‌شده بررسی می‌کند، اصلاح‌ها را امتحان می‌کند و دستورالعمل‌های قابل استفاده‌ی دوباره برای یک شاگرد سریع می‌نویسد. شاگرد در حین بازی بدون صدا زدن معلم عمل می‌کند و نمره‌ی اعتبارسنجی تعیین می‌کند کدام به‌روزرسانی پذیرفته شود.
یافته‌ها
- در ارزیابی جفتی، GPT-6.1-sol وقتی بازی متوقف بود از مدل سریع‌تر Jev بهتر بود، ولی وقتی بازی ادامه داشت عقب افتاد.
- دو دور TORSI میانگین نمره‌ی آزمون Jev را روی مقیاس پیشرفت صفر تا صد از ۱۳٫۵۱ به ۲۴٫۱۹ رساند و در هر شش نوع بازی بهبود داد.
- همان دستورالعمل‌ها بدون تنظیم دوباره، میانگین نمره‌ی سه مدل دیگر را هم بالا بردند.
محدودیت‌ها
نویسنده‌ها می‌گویند ایجنت‌ها توصیف ساختاریافته‌ی وضعیت بازی را می‌گیرند، نه تصویر خام؛ پس خطا و تأخیر ادراک بصری در بنچمارک نیست و یافته‌ها مستقیم به ایجنت‌های بصری سرتاسری تعمیم پیدا نمی‌کنند.
چرا مهم است
ایجنت‌هایی که در دنیای واقعی کار می‌کنند، از رباتیک تا معامله، باید هم درست تصمیم بگیرند و هم به‌موقع. این کار نشان می‌دهد تقسیم کار بین یک فکرکننده‌ی کند در زمان تمرین و یک عمل‌کننده‌ی سریع در زمان اجرا، راهی عملی برای این مشکل است.