Instructions Are Evidence, Not Objectives: Measuring Outcome Alignment of Agents

مسئله

ایجنت‌ها دستورهای پیچیده را دنبال می‌کنند، اما دستور اولیه در عمل اغلب ناقص است. نویسنده‌ها در تحلیل ۱۰۰ مسیر کاربر-ایجنت از SWE-chat دیدند ۵۶ درصد دستورهای اولیه نیازهایی را جا انداخته‌اند که بعداً لازم شده، و ۵۲ درصد نیازهای مفید بعدی را می‌شد از خود پروژه فهمید. کاربر نیازها را از فهم خودش از کار می‌گوید و این «نیازهای گفته‌شده» اغلب با «نیازهای واقعی» تسک فرق دارند؛ مثلاً کاربر می‌گوید «این تابع را سریع‌تر کن» ولی نمی‌گوید خروجی‌اش باید با نسخه‌ی قبلی سازگار بماند.

روش

نویسنده‌ها این توانایی را «هم‌راستایی با نتیجه» می‌نامند: ایجنت دستور را شاهد ببیند، نیازهای واقعی را از دستور و محیط استنباط کند و برآورده‌شان کند، حتی وقتی کاربر هنوز از همه‌شان خبر ندارد. بنچمارک TiGanEval از تسک‌های مهندسی نرم‌افزار و پژوهشی ساخته شده که در هر کدام کاربر واقعاً بخشی از نیازها را نمی‌داند، هر نیاز از کد و رفتار اجرایی محیط قابل کشف است، و نیازهایی که ایجنت خودش استنباط کرده از نیازهایی که کاربر بعد از دیدن کار اضافه می‌کند جدا می‌شود.

یافته‌ها

• هشت مدل پیشرو، از جمله GPT-5.6-Sol، با رفتن از مشخصات کامل به دستور ناقص ۵۳ تا ۶۷ امتیاز از نرخ موفقیت را از دست دادند.
• بازخورد درباره‌ی پیامدها در چهار بار ارسال، این فاصله را پر نکرد.
• هارنس «حالت برنامه‌ریزی» هم نتوانست کمبود این توانایی در خود مدل را جبران کند.

محدودیت‌ها

نویسنده‌ها می‌گویند هزینه، اندازه‌ی مجموعه‌ی تسک‌ها را محدود کرد و امکان آموزش مدل برای بهتر کردن این توانایی را نداد؛ شبیه‌ساز کاربر هم برای پایداری ارزیابی رفتار ساده‌شده‌ای دارد.