مقاله‌ی arXiv:2610.19698 · در صف خبرنامه
RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios
بنچمارکی برای سنجیدن این‌که ایجنت‌ها قاعده‌های تخصصی را در سناریوهای پراکنده در چند فایل درست پیدا و اعمال می‌کنند
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Chenhao Yuan, Bohan Yu, Yinhao Xu, Chao Yin, Chenxi Zhou, Zhaoxuan Wang, Shuwen Xu, Shaoping Huang, Haolin Ren, Jiaxiang Liu, Yao Xu, Jun Zhao, Kang Liu
- نهاد نویسنده‌ها
- Institute of Automation (Chinese Academy of Sciences)
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مدل‌های زبانی بیشتر و بیشتر سراغ کارهای واقعی در حوزه‌های تخصصی می‌روند، اما پیدا کردن و درست اعمال کردن قاعده‌های آن حوزه وقتی اطلاعات سناریو در چند فایل پخش شده سخت است. مثلاً برای این‌که بفهمی یک کارمند مرخصی تشویقی می‌گیرد یا نه، باید آیین‌نامه، سابقه‌ی کاری و گزارش عملکرد را کنار هم بگذاری. بنچمارک‌های فعلی استدلال قاعده‌ای سناریو را فقط با چند جمله‌ی واقعیت نشان می‌دهند و پیدا کردن قاعده‌ی مرتبط را ساده می‌کنند.
روش
بنچمارک چندحوزه‌ای RuleTrek با یک خط لوله‌ی مبتنی بر قاعده ساخته شده: گراف ساختاریافته‌ی قاعده‌ها استخراج می‌شود، برای هر قاعده زیرسناریو ساخته می‌شود و زیرسناریوها به‌تدریج با حفظ سازگاری و حل‌پذیری با هم ترکیب می‌شوند. در یک فضای کاری تعاملی سه توانایی سنجیده می‌شود: شناسایی قاعده، استنتاج از قاعده، و استدلال قاعده‌ای سرتاسری.
یافته‌ها
- در ارزیابی ۱۱ مدل پیشرو، بالاترین نمره‌ی شناسایی قاعده فقط ۶۲٫۴۷ درصد و بالاترین نمره‌ی استنتاج ۶۰٫۴۳ درصد بود.
- نمره‌های استدلال سرتاسری بین ۲۶٫۹۷ تا ۵۵٫۲۹ درصد بود.
- کد و دیتاست منتشر شده است.
محدودیت‌ها
نویسنده‌ها می‌گویند بنچمارک فقط مخزن‌های قاعده و سناریوهای انگلیسی را پوشش می‌دهد و قاعده‌ها و سناریوها ثابت‌اند؛ محیط‌هایی که قاعده‌ها در آن‌ها در طول زمان عوض می‌شوند آزموده نشده‌اند.
چرا مهم است
خیلی از کاربردهای سازمانی ایجنت‌ها، از حسابداری تا منابع انسانی، در اصل اعمال قاعده روی اطلاعات پراکنده است. این بنچمارک نشان می‌دهد حتی بهترین مدل‌ها هنوز در این کار از هر دو سؤال حدوداً یکی را اشتباه می‌کنند.