مقاله‌ی arXiv:2610.00948 · منتشرشده در کانال
GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution
جی‌یوآی‌هاروست: ایجنت‌های رابط گرافیکی خودبهبود با تکامل هارنس بر پایه‌ی شواهد
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Geyi Yang, Zikun Qu, Xiang Li, Zhiyong Wang, Min Zhang, Shipei Zeng, Zhongxiang Dai
- نهاد نویسنده‌ها
- The Chinese University of Hong Kong, Shenzhen; Tianjin University; Harbin Institute of Technology (Shenzhen); East China Normal University
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
هارنس اجرایی اطراف یک مدل رابط گرافیکی تعیین می‌کند مشاهده‌ها چطور جمع شوند، کنش‌ها چطور اجرا شوند و تأیید، بازیابی و پایان چطور کنترل شوند. بهینه‌سازی خودکار این هارنس سه چالش به هم پیوسته دارد: تطبیق نیت مدل با اثر بصری مشاهده‌شده، تشخیص شکست زیر نتایج متغیر اجرا، و یافتن الگوهای شکست تکراری بین تسک‌ها و تبدیلشان به تغییرات قابل استفاده‌ی مجدد.
روش
بهینه‌ساز GUI-HARVEST با مدل‌های پایه‌ی منجمد کار می‌کند. اول خروجی مدل و کنش اجراشده را با اسکرین‌شات‌های پیش و پس هم‌تراز می‌کند تا یافته‌ها به گذارهای مشخص رابط گره بخورند. دوم اجراهای مکرر یک تسک را یک واحد شاهد مشترک می‌گیرد و با مقایسه‌ی درون‌تسکی تفاوت‌های رفتاری مرتبط با نتیجه را پیدا می‌کند. سوم یافته‌های تأییدشده را به الگوهای شکست تکراری تجمیع می‌کند، آن‌ها را به ویرایش‌های محدود کد با پیش‌بینی ثبت‌شده پیش از ارزیابی تبدیل می‌کند و اثر رفتاری پیش‌بینی‌شده را کنار کارایی می‌سنجد.
یافته‌ها
- روی OSWorld-Verified در هر شش مدل پایه، شامل مدل‌های باز عمومی، باز تخصصی و اختصاصی، بهبود پیوسته روی تسک‌های کنارگذاشته داد؛ Qwen3-VL-32B-Instruct روی کل مجموعه ۱۲٫۳۳ امتیاز بهتر شد.
- انتقال هارنس منجمد بدون بهینه‌سازی بیشتر، GPT-5 را روی WindowsAgentArena با ۵۰ گام ۱۳٫۸۷ واحد درصد بهتر کرد.
- با همان مدل پایه و هارنس اولیه، از روش‌های خودهارنس و متاهارنس بهتر بود.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ روش به اجرای مکرر هر تسک برای جمع‌آوری شواهد نیاز دارد.
چرا مهم است
بهینه‌سازهای عمومی هارنس با ایجنت‌های رابط گرافیکی خوب کار نمی‌کنند چون اثر کنش‌ها بصری است. این کار نشان می‌دهد تشخیص مبتنی بر اسکرین‌شات و مقایسه‌ی اجراها، بهبودهایی می‌سازد که به تسک‌ها و مدل‌های دیگر هم منتقل می‌شود.