مقاله‌ی arXiv:2610.05777 · در صف خبرنامه
Mining Agent Skills from Production Traces
استخراج مهارت‌های ایجنت از ردپاهای تولیدی، وقتی برچسب موفقیت قابل اعتماد نیست
- تاریخ
- (۱۳ مهر ۱۴۰۵) 2026-10-05 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yue Ran Kang, Colton Mikolajczyk, Chhaya Methani, Hazel Mak, Sahil Bhatnagar, Susheel Suresh, Alejandro Gutierrez Munoz
- نهاد نویسنده‌ها
- Massachusetts Institute of Technology; Microsoft Corporation
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
مهارت‌های ایجنت که دستورهای رویه‌ای را ثبت می‌کنند بیش از پیش از ردپاهای اجرا استخراج می‌شوند تا دستی نوشته شوند. خط لوله‌های استخراج اغلب از نتیجه‌ی معلوم تسک یا بازخورد استفاده می‌کنند، اما در محیط تولیدی اطلاعات قابل اعتماد درباره‌ی موفقیت یک اجرا ممکن است در دسترس نباشد.
روش
نویسنده‌ها با ثابت نگه داشتن خط لوله‌ی استخراج، شش ترکیب از شواهد استخراج و شکل مهارت را مقایسه کردند. شواهد سه سطح دارد: فقط مسیرهای موفق، موفق و ناموفق با برچسب نتیجه، یا همان ترکیب بدون برچسب. شکل مهارت دو نوع دارد: برنامه‌ی گردش‌کار مرتب، یا یک هستی‌شناسی اعلانی از موجودیت‌ها، وضعیت‌ها و سیاست‌ها. ارزیابی روی دو بنچمارک سازمانی ThinkingBox-Bench و APEX-Agents انجام شد.
یافته‌ها
- سود ترکیب‌های مختلف به حوزه‌ی سازمانی بستگی دارد.
- روی ThinkingBox-Bench، گردش‌کار ۱٫۷ واحد درصد از هستی‌شناسی بهتر بود، ترکیب موفق و ناموفق با برچسب ۲٫۴ واحد از فقط موفق بهتر بود، و همان ترکیب بدون برچسب ۳٫۱ واحد بدتر بود.
- روی
APEX-Agentsترجیح متوسطی برای هستی‌شناسی دیده شد و ترجیح روشنی بین نوع شواهد نبود؛ در هر حوزه قیدهای ساختاری تسک کارایی نابرابر مهارت‌ها را تعیین می‌کند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ تفاوت‌ها چند واحد درصدی‌اند و روی APEX-Agents نتیجه‌ی قطعی ندارند.
چرا مهم است
در محیط واقعی معمولاً نمی‌دانیم کدام اجرای ایجنت موفق بوده است. این کار نشان می‌دهد برچسب نتیجه برای استخراج مهارت ارزش دارد و شکل مهارت باید با نوع کار تطبیق داده شود.