مقاله‌ی arXiv:2610.12984 · در صف خبرنامه
Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
ثبت تجربه‌ی کار انسان با رابط گرافیکی و تبدیل آن به اسکیل‌های قابل استفاده‌ی دوباره برای ایجنت
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yuqi Huang, Hui Li, Yifei Cao, Zikun Cai, Tianci Xie, Yangfan Gao, Pinxue Guo, Chaoyun Zhang, Bingxuan Li, Rui Zheng, Hang Yan, Ning Liao
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های کار با کامپیوتر کارهای رابط گرافیکی پیچیده‌تری انجام می‌دهند، اما نرم‌افزارهای ناآشنا و گردش‌کارهایی که دانش حوزه‌ی انسانی می‌خواهند هنوز چالش‌برانگیزند. نمایش‌های انسانی دانش رویه‌ای را در همان فضای تعامل منتقل می‌کنند، اما استفاده‌ی دوباره‌شان نیاز دارد اقدام‌ها در کانتکست تفسیر شوند و قاعده‌های گردش کار از جزئیات خاص تسک جدا شوند؛ مثلاً از یک ضبط صفحه باید فهمید «همیشه اول فیلتر تاریخ را تنظیم کن» قاعده است و «تاریخ ۱۲ مهر» جزئیات.
روش
در چارچوب Work2Skill، ابزار WorkRecorder ضبط صفحه، رویدادهای ماوس و صفحه‌کلید و اطلاعات درخت دسترس‌پذیری را هم‌تراز می‌کند. با آن مجموعه‌داده‌ی WorkDemo-350 با ۳۵۰ نمایش انسانی دسکتاپ، غربال‌شده برای کامل بودن و موفقیت، ساخته شد. یک روش ایجنتی القای اسکیل شواهد را هنگام نیاز بررسی می‌کند و اسکیل‌هایی می‌سازد که قاعده‌های گردش کار، وابستگی قدم‌ها و بررسی‌های تکمیل را ثبت می‌کنند.
یافته‌ها
- وقتی چهار مدل اجرایی یکسان به اسکیل‌های القاشده با هر روش مجهز شدند، Work2Skill بالاترین امتیاز و نرخ موفقیت را گرفت.
- میانگین بهبود امتیاز نسبت به حالت بدون اسکیل، ۴٫۶۷ تا ۱۰٫۵۴ امتیاز روی MyPCBench و ۳٫۱۱ تا ۷٫۵ امتیاز روی زیرمجموعه‌ی ۲۸۶ تسکی OSWorld-Verified بود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ مجموعه‌ی نمایش‌ها ۳۵۰ مورد است و ارزیابی روی دو بنچمارک انجام شده است.
چرا مهم است
بسیاری از دانش کاری سازمان‌ها فقط در عادت‌های کارمندان وجود دارد. این کار راهی برای ضبط این دانش از کار روزمره و تبدیلش به اسکیل ایجنت نشان می‌دهد.