مقاله‌ی arXiv:2610.03315 · منتشرشده در کانال
Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents
ارزیابی سبک و روبریک‌محور مسیرهای ایجنت‌های تولیدی با بودجه‌ی ثابت
- تاریخ
- (۱۰ مهر ۱۴۰۵) 2026-10-02 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Linh-An Phan, MingXue Wang, Guangyu Wu, Feng Pan, Zhaoyu Pang, Yanbin Zhang
- نهاد نویسنده‌ها
- Huawei Ireland Research Center; Huawei Shenzhen R&D Center
خلاصه‌ی فارسی
مسئله
ارزیابی مسیر برای بهبود قابلیت اطمینان ایجنت‌ها ضروری است، اما در تولید اجرای مکرر آن گران است. ایجنت‌های امروزی ردپاهای طولانی با فراخوانی ابزار، مشاهده، تلاش دوباره و خروجی بیرونی تولید می‌کنند و همه‌ی توکن‌های خام برای تشخیص به یک اندازه مفید نیستند.
روش
معماری LiteTrajEval پروفایل‌های فشرده‌ی قاعده‌ی ویژه‌ی دامنه را آفلاین استخراج می‌کند، سپس هر مسیر را آنلاین پیش‌پردازش می‌کند، نشانه‌های شکست ابتکاری را علامت می‌زند، آن را زیر یک بودجه‌ی سراسری ثابت سریالی می‌کند و یک داور زبانی روبریک‌محور را فقط یک بار برای تولید گزارش تشخیصی ساختاریافته فرا می‌خواند.
یافته‌ها
- روی مجموعه‌داده‌های عمومی مسیر به سبک Magentic-One و τ-bench، هم‌خوانی تعیین محل شکست با برچسب انسانی را نسبت به
AgentRxحدود ۲۰ تا ۳۵ واحد درصد روی Magentic-One و تا ۲۳ واحد درصد روی τ-retail بهتر کرد. - هزینه را حدود ۶ برابر و زمان ارزیابی را بیش از ۸ برابر کم کرد، و در پلتفرم ایجنتی سازمانی نویسنده‌ها مستقر شده است.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ نویسنده‌ها اشاره می‌کنند که تصویر پوشش تشخیص در مقایسه با AgentRx بسته به مدل داور مختلط است.
چرا مهم است
ارزیابی مکرر ایجنت‌ها در تولید باید ارزان باشد تا عملی باشد. این کار نشان می‌دهد فشرده‌سازی هوشمند مسیر و یک فراخوانی داور، هم دقیق‌تر و هم چند برابر ارزان‌تر است.