مقاله‌ی arXiv:2610.22234 · منتشرشده در کانال
OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents
ایجنتی که برای کار با کامپیوتر هم روی رابط گرافیکی کلیک می‌کند و هم کد اجرا می‌کند، و یاد گرفته کِی کدام
- تاریخ
- (۲۳ مهر ۱۴۰۵) 2026-10-15 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Bowen Yang, Kaiming Jin, Zichen Ding, Zhenyu Wu, Zehao Li, Zhoumianze Liu, Kanzhi Cheng, Fangzhi Xu, Yanan Sun, Qiushi Sun, Yu Qiao
- نهاد نویسنده‌ها
- Shanghai AI Laboratory, University of Science and Technology of China, and others
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
خودکارسازی واقعی دسکتاپ نه کاملاً تصویری است و نه کاملاً برنامه‌نویسی. ایجنت باید رابط کاربری را بفهمد و در عین حال فایل‌ها، اسکریپت‌ها و وضعیت سیستم را سریع دست‌کاری کند؛ مثلاً برای تغییر نام صد فایل، یک اسکریپت از صد بار کلیک بهتر است. آزمایش‌های اولیه‌ی نویسنده‌ها نشان داد اضافه کردن ساده‌ی یک ابزار کد به ایجنت گرافیکی حتی عملکردش را بدتر می‌کند؛ پس انتخاب بین کلیک و کد باید با آموزش درونی شود.
روش
مدل OS-Helix کلیک‌های گرافیکی و اجرای کد را در یک فضای عمل یکپارچه می‌کند. برای ساخت داده‌ی آموزشی، برنامه‌های دسکتاپ را با فایل‌های واقعی جفت می‌کنند تا وضعیت‌های اجرایی اوبونتو ساخته شوند، و تسک‌ها و ارزیاب‌ها را جدا تولید می‌کنند تا وضعیت نهایی، صرف‌نظر از این‌که با کلیک حل شده یا کد، قابل بررسی باشد. مدل اول با آموزش نظارت‌شده روی داده‌ی ترکیبی شروع می‌کند و بعد با یادگیری تقویتی در دسکتاپ زنده بهتر می‌شود. در روش Step-balanced GSPO وزن هر قدم عمل یکسان است، تا عمل‌های کد طولانی بر آموزش غالب نشوند.
یافته‌ها
- روی OSWorld-Verified، نسخه‌های ۲۷ میلیاردی و ۳۵ میلیاردی به ترتیب ۳۵٫۰ و ۳۳٫۷ درصد بهبود نسبی نسبت به مدل‌های پایه‌ی Qwen3.5 هم‌اندازه داشتند.
- نسخه‌ی ۲۷ میلیاردی بعد از یادگیری تقویتی ۴۲٫۹ درصد دیگر بهتر شد و به موفقیت ۶۶٫۴۴ درصد رسید.
- روی WindowsAgentArena هم انتقال بین سیستم‌عامل‌ها دیده شد.
محدودیت‌ها
نویسنده‌ها می‌گویند محدودیت اصلی منابع محاسباتی و هزینه‌ی رابط‌های برنامه‌نویسی است، و هیچ زیرساخت دسکتاپی نمی‌تواند همه‌ی تنوع کامپیوترهای واقعی، فایل‌های خصوصی، نسخه‌های برنامه و تنظیمات شخصی را پوشش دهد.
چرا مهم است
ایجنت‌های کار با کامپیوتر معمولاً یا فقط کلیک می‌کنند یا فقط کد می‌نویسند. این کار نشان می‌دهد ترکیب این دو با اضافه کردن یک ابزار به پرامپت به دست نمی‌آید و باید با داده‌ی مناسب آموزش داده شود.