Task-State Governance: A Virtual Machine for Verifiable and Recoverable GUI Agent Execution

مسئله

ایجنت‌های رابط گرافیکی حالا گردش کار را در برنامه‌های واقعی اجرا می‌کنند. اما وقتی اجرا از مسیر خارج می‌شود، کاربر باید بفهمد چه چیزی عوض شده، چه چیزی باید دست‌نخورده می‌ماند و چه چیزی هنوز قابل بازیابی است. رابط‌هایی که برنامه‌ی ایجنت را نشان می‌دهند کاربر را ناظر روند می‌کنند، در حالی که کاربر با تغییرهای وضعیت برنامه زندگی می‌کند؛ مثلاً ایجنتی که قرار بود فقط یک رویداد تقویم را جابه‌جا کند، رویداد دیگری را هم پاک کرده است.

روش

الگوی «حاکمیت وضعیت تسک» تسک را به شکل یک قرارداد قابل ویرایش نشان می‌دهد که نتیجه‌های مطلوب، واقعیت‌هایی که باید حفظ شوند و وضعیت مشاهده‌شده‌ی برنامه را به هم وصل می‌کند. سیستم TaskVM وضعیت زنده را به کنترل‌های قابل ویرایش تسک تبدیل می‌کند، ویرایش‌های کاربر را به اقدام واقعی در رابط تبدیل می‌کند، نتیجه را با مشاهده‌ی مستقل تأیید می‌کند و هر اقدام را برگشت‌پذیر، قابل جبران یا برگشت‌ناپذیر علامت می‌زند.

یافته‌ها

• در یک بنچمارک خودکار قرارداد، یک مطالعه‌ی کاربری کنترل‌شده و یک کاوش باز با مدل زنده، این الگو پایبندی به قرارداد و کنترل بازیابی و اعتماد کاربران را بیشتر کرد، در حالی که نتیجه‌ی اجرا ثابت نگه داشته شد.
• قراردادهای تسک فضای طراحی تازه‌ای برای رابط‌های ایجنتِ قابل حاکمیت باز می‌کنند.

محدودیت‌ها

نویسنده‌ها می‌گویند مرحله‌ی دوم ارزیابی محیط و مسیر ایجنت را ثابت نگه داشت، پس موفقیت اجرای مدل زنده یا توان بازیابی واقعی را نشان نمی‌دهد، و آزمون‌های خواندن فقط به ۸ جفت رسیدند و شواهدشان جهت‌نما است، نه بهبود ثابت‌شده. نسخه‌ی اول مقاله هنوز در حال اصلاح است.