مقاله‌ی arXiv:2610.20675 · در صف خبرنامه
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
سیستمی برای اندازه‌گیری دقیق این‌که هارنس، ابزار، اسکیل و حافظه واقعاً به استدلال مدل کمک می‌کنند یا نه
- تاریخ
- (۲۲ مهر ۱۴۰۵) 2026-10-14 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Yi Xie, Nico Pelleriti, Shiyang Liu, Menghan Lu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت یعنی یک مدل استدلالی به‌علاوه‌ی هارنسی که فراخوانی‌های مدل را سازمان می‌دهد، ابزار اجرا می‌کند، دستورالعمل اسکیل‌ها را بار می‌کند و تاریخچه را در حافظه نگه می‌دارد. برای فهمیدن عملکرد ایجنت باید شرایط اجرا را به نتیجه، رفتار و مصرف منابع وصل کرد، اما معمولاً فقط یک نمره‌ی نهایی گزارش می‌شود.
روش
سیستم AlphaDiana رابط‌های ماژولار برای دیتاست، ایجنت، محیط و امتیازدهنده دارد. حلقه‌ی کنترل خود هارنس را دست نمی‌زند، ولی استفاده‌ی دوباره از فایل‌ها و نگه داشتن حافظه را جداگانه کنترل می‌کند. هم می‌شود کل ایجنت‌ها را مقایسه کرد و هم در شرایط یکسان فقط یک جزء، مثل ابزارها یا اسکیل‌ها یا حافظه، را تغییر داد. نویسنده‌ها سه مدل متن‌باز و سه هارنس متن‌باز را روی پنج بنچمارک جواب‌محور، و دو مدل را روی دو بنچمارک تعاملی آزموده‌اند.
یافته‌ها
- هارنس‌ها دقت استدلال را همیشه بالا نمی‌برند: سودشان روی سؤال‌هایی که مدل تنها حل نمی‌کرد، ممکن است با زیانشان روی سؤال‌هایی که مدل بدون ابزار درست جواب می‌داد خنثی شود.
- همین ناپایداری در تغییر اجزا هم دیده شد: نه راهنمایی اسکیل و نه نگه داشتن تاریخچه، دقت را قابل اعتماد بالا نبردند.
- رفتار و مصرف توکن را باید همراه درستی سنجید: آنتروپی پایین توکن‌ها ممکن است با جواب غلط همراه باشد، و خروجی کمتر در هر اجرا وقتی دقت افت کند یعنی توکن بیشتر برای هر جواب درست.
محدودیت‌ها
متن کامل این مقاله به شکل HTML در دسترس نبود و چکیده محدودیت مشخصی ذکر نمی‌کند؛ مطالعه فقط مدل‌ها و هارنس‌های متن‌باز را پوشش می‌دهد.
چرا مهم است
خیلی‌ها فرض می‌کنند اضافه کردن ابزار و اسکیل و حافظه همیشه ایجنت را بهتر می‌کند. این سیستم نشان می‌دهد این فرض را باید با اندازه‌گیری کنترل‌شده آزمود، چون گاهی همین اجزا جواب‌های درست مدل را خراب می‌کنند.