مقاله‌ی arXiv:2610.01215 · منتشرشده در کانال
AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
اتوجی‌یوآی‌ورلد: مولدهای تصویر به عنوان مدل جهان بصری برای ایجنت‌های رابط گرافیکی
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Cheng Yang, Yifan Wu, Yutao Huang, Zhaohua Zhang, Beiduo Chen, Muxi Chen, Chenchen Zhao, Hexuan Deng, Haolin Yang, Geyuan Zhu, Sa Zhu, Jianhuan Zhuo, Qiuyong Xiao, Jianhao Ruan, Yiran Peng, Jiayi Zhang, Tian Ye, Xinlei Yu, Tianwen Jiang, Jihong Zhang, Yuyu Luo
- نهاد نویسنده‌ها
- Hunyuan AI Data Team
خلاصه‌ی فارسی
مسئله
ایجنت‌های رابط گرافیکی برای یاد گرفتن واکنش نرم‌افزار به کنش‌ها، حفظ وضعیت و گردش‌کارهای چندمرحله‌ای به مسیرهای تعاملی باکیفیت نیاز دارند. اما تنوع مسیرهای موجود به برنامه‌ها، وضعیت‌های رابط و گردش‌کارهایی که در محیط‌ها در دسترس‌اند محدود است، و گسترش آن به نصب، پیکربندی و اجرای نرم‌افزارهای تخصصی پرهزینه نیاز دارد.
روش
چارچوب AutoGUIWorld پیش‌دانسته‌های بصری مولدهای تصویر را با دانش تسک یک برنامه‌ریز ترکیب می‌کند تا مسیرهای تعامل را بدون نصب یا اجرای نرم‌افزار بسازد. صحنه‌های اولیه از مشخصات ساختاریافته‌ی سیستم‌عامل، ظاهر بصری و وضعیت رابط نمونه‌گیری می‌شوند و تسک‌ها بر اساس آن‌ها تولید می‌شوند؛ سپس برنامه‌ریز کنش‌های اتمی و پیامد بصری موردنظرشان را مشخص می‌کند و مولد تصویر اسکرین‌شات فعلی را مرحله به مرحله ویرایش می‌کند. مکان‌یابی کنش و فیلتر کیفیت در سطح گذار هم اعمال می‌شود.
یافته‌ها
- ۷۹٬۲۶۶ نمونه‌ی آموزشی گام‌به‌گام با برچسب مکانی در Ubuntu، Windows، macOS و Chrome تولید شد.
- تنظیم دقیق Qwen3.5-35B-A3B روی این مسیرها میانگین امتیاز تسک در OSWorld را از ۳۳٫۰ به ۴۰٫۸ درصد و نرخ موفقیت در ScienceBoard را از ۱۴٫۰ به ۳۲٫۲ درصد رساند.
محدودیت‌ها
نویسنده‌ها می‌گویند مولد تصویر گاهی صفحه‌ی بعدی باورپذیری می‌سازد که کنش قبلی را درست اجرا نکرده: در ۴۲٬۵۲۶ گذار دسکتاپ قابل ارزیابی، ممیزی ۳٫۰۴ درصد ناسازگاری کنش و تصویر یافت و پس از پاک‌سازی ۲٫۰۸ درصد باقی ماند، که بیشتر در ورود متن، کشیدن، پیمایش و کنش‌های صفحه‌کلید است. خطاها هم ممکن است در مسیرهای طولانی‌تر انباشته شوند.
چرا مهم است
جمع‌آوری داده‌ی تعامل با نرم‌افزارهای واقعی گران و محدود است. این کار نشان می‌دهد تصویرهای تولیدشده می‌توانند جایگزین بخشی از این داده شوند و ایجنت‌ها را روی تسک‌های واقعی بهتر کنند.