What Makes a Social Agent's Interactions Effective? Learning from Verifiable Outcomes in Paired Worlds

مسئله

تعامل اجتماعی مؤثر فقط جواب روان نیست: ایجنت‌ها باید به برنامه‌ای برسند که با نیازها و شرایط طرفین جور باشد. ارزیابی‌های فعلی ایجنت‌های اجتماعی بیشتر به داور مدل زبانی تکیه دارند که به گفت‌وگو نمره می‌دهد، بی آن‌که برنامه‌ی نهایی را بررسی کند. مثلاً دو ایجنت ممکن است گفت‌وگوی خوشایندی درباره‌ی وقت جلسه داشته باشند ولی هر کدام ساعت متفاوتی یادداشت کنند.

روش

بنچمارک HICO-Bench شامل ۱۸۰ سناریوی هماهنگی روزمره است، مثل تقسیم منابع، زمان‌بندی و صدور مجوز. در هر سناریو دو ایجنت با اطلاعات خصوصی گفت‌وگو می‌کنند و بعد جداگانه برنامه‌ی توافق‌شده را ثبت می‌کنند. یک برنامه بررسی می‌کند که دو برنامه یکی باشند و شرایط خصوصی هر دو طرف را برآورده کنند، و یک داور مدل زبانی بررسی می‌کند که گفت‌وگو واقعاً به همین برنامه رسیده باشد. هر سناریو دو نسخه دارد که فقط در یک شرط خصوصی فرق می‌کنند، پس برنامه‌ی درست در آن‌ها متفاوت است. برای آموزش، روش PaCPO بعد از هر نوبت از ایجنت برنامه‌ی موقت می‌خواهد، آن را در هر دو نسخه بررسی می‌کند و به نوبت‌هایی پاداش می‌دهد که بعدشان برنامه‌ها با نسخه‌ی خودشان جور می‌شوند.

یافته‌ها

• در سیزده مدل زبانی، ۳۶ درصد گفت‌وگوهایی که برای رسیدن به هدف نمره‌ی بالا گرفته بودند، در بررسی برنامه‌ی واقعی شکست خوردند.
• روش PaCPO موفقیت تأییدشده‌ی Qwen3-8B را از ۲۰٫۴ به ۲۸٫۳ درصد رساند.

محدودیت‌ها

نویسنده‌ها می‌گویند بنچمارک فقط شش خانواده‌ی هماهنگی را پوشش می‌دهد که نتیجه‌شان را می‌شود به شکل رکورد ساختاریافته نوشت؛ تعامل‌هایی مثل حمایت عاطفی یا رابطه‌هایی بدون نتیجه‌ی مشخص بیرون از دامنه‌اند.