مقاله‌ی arXiv:2610.22350 · منتشرشده در کانال
FDE-Gym: The Last Mile of AI Delivery
بنچمارکی برای «آخرین مایل» تحویل هوش مصنوعی: کار واقعی با مشتری، نه تسک خوش‌تعریف
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen, Xiaojian Liao, Congming Gao, Tianyang Jiang, Yixiao Chen, Qing Wang, Zhiguo Yu, Xiaqing Li, Yuhao Zhang, Jiawen Sun, Renzhe Xu, De Mi, Tiancheng Wu, Xianya Fu, Xuanlu Zhao, Bo Feng, Meixuan Ren, Guanming Lin, Ziheng Zhou, Xinhua Wang
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بنچمارک‌های ایجنت معمولاً تسک‌های خوش‌تعریف دارند: یک ایشو، یک مشخصات یا یک تیکت. اما تحویل یک سیستم به مشتری واقعی فرق دارد. مهندسی که در محل مشتری کار می‌کند باید نیازهای مبهم را روشن کند، روی سیستم زنده کار کند و محدودیت‌هایی را پیدا کند که کسی به زبان نیاورده؛ مثلاً این‌که گزارش نباید شب‌ها اجرا شود چون سرور پشتیبان‌گیری می‌کند.
روش
بنچمارک FDE-Gym شامل ۹۵ تسک تحویل کامل از ۲۰ سناریوی مشتری در ۱۸ صنعت است که متخصصان صنعت از پروژه‌های واقعی ساخته‌اند. ایجنت در محیط شبیه‌سازی‌شده‌ی مشتری با ذی‌نفعانی که رفتارشان اسکریپت شده گفت‌وگو می‌کند و روی سیستمی شبیه سیستم تولیدی کار می‌کند. نمره بر اساس بهبود معیار موفقیت خود مشتری است، بین صفر (بدون تغییر) و یک (راه‌حل مرجع)، با جریمه برای هر پیام، اجرای آزمایشی و زمان انتظار.
یافته‌ها
- سیزده پیکربندی از هفت ارائه‌دهنده آزموده شدند. در حالت واقع‌گرایانه، بهترین پیکربندی میانگین نمره‌ی ۰٫۵۶ گرفت و فقط ۱۴ تسک از ۹۵ را کامل حل کرد (نمره‌ی دست‌کم ۰٫۸ بدون حادثه).
- گلوگاه اصلی پیدا کردن محدودیت‌های ناگفته است: وقتی مدل باید بدون راهنمایی آن‌ها را کشف کند، عملکرد به‌شدت افت می‌کند.
- ولی فقط کمبود اطلاعات نیست: حتی در ۲۳ تسکی که بهترین پیکربندی همه‌ی واقعیت‌های کلیدی را از ذی‌نفعان گرفت، فقط در ۱۰ تا به نمره‌ی ۰٫۸ یا بالاتر رسید.
محدودیت‌ها
نویسنده‌ها می‌گویند ذی‌نفعان اسکریپت‌شده‌اند تا نتایج تکرارپذیر باشد، در حالی که آدم‌های واقعی نظرشان را عوض می‌کنند و جواب سؤال دیگری را می‌دهند. هزینه‌ی تماس هم برآورد متخصصان است، نه اندازه‌گیری، و بعضی سطح‌ها فقط روی ۲۰ تسک اصلی گزارش شده‌اند.
چرا مهم است
فاصله‌ی «حل کردن یک تیکت» با «تحویل سیستمی که برای مشتری کار کند» همان جایی است که خیلی از پروژه‌های هوش مصنوعی شکست می‌خورند. این بنچمارک این فاصله را قابل اندازه‌گیری می‌کند و نشان می‌دهد مهارت پرسیدن سؤال درست هنوز ضعف اصلی ایجنت‌هاست.