RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations

مسئله

همدم هوش مصنوعی که ماه‌ها با کسی حرف می‌زند باید او را بفهمد: بداند کیست، آنچه گفته را به خاطر بسپارد و تشخیص دهد کِی چیزی از گذشته الان مهم است. آزمودن این به گفت‌وگوی واقعی نیاز دارد، اما گفت‌وگوهای واقعی خصوصی‌اند، پس بنچمارک‌های موجود از آدم‌ها و پرسش‌های ساختگی استفاده می‌کنند.

روش

نویسنده‌ها RealCompanion را منتشر کردند: ده رابطه‌ی واقعی بین آدم‌ها و یک همدم هوش مصنوعی با ۲۷٬۲۱۸ پیام در حداکثر ۱۲۰ روز. برای هر نفر گفت‌وگوی کامل، نیمرخ، پرسونا، آیتم‌های آزمون گفت‌وگو و آیتم‌های آزمون پرسش منتشر شد؛ هر برچسب به پیام‌های پشتیبانش اشاره می‌کند و هر برچسب گفت‌وگو استدلال تولیدکننده‌اش را دارد.

یافته‌ها

• آدم‌ها به ندرت به گذشته ارجاع می‌دهند: فقط ۳٫۴ درصد پیام‌ها به چیزی که قبلاً گفته شده وابسته‌اند، و آن پیام معمولاً دور است (میانه‌ی ۲٬۱۵۷ پیام قبل)؛ نگاه به پیام‌های اخیر در کل ۹۵٫۹ درصد مواقع پیام لازم را پیدا می‌کند اما وقتی دور است فقط ۲٫۲ درصد.
• سیستم‌ها نمی‌توانند تشخیص دهند کِی گذشته مهم است: آشکارسازها روی پیام‌های واقعی به‌سختی از شانس بهتر بودند، و وقتی همان پیام‌ها «خاطره» نامیده شدند، مدل‌ها ۱۰ تا ۱۴ واحد درصد بیشتر گذشته را پیش کشیدند.
• سه سیستم ایجنتی هر پرسونا را به یک اندازه خوب بازسازی کردند (F1 برابر ۰٫۷۱)، اما بیش از آنچه فرد آشکار کرده بود درباره‌اش برداشت کردند.

محدودیت‌ها

نویسنده‌ها می‌گویند ده نفر از یک برنامه طی چهار ماه استفاده کرده‌اند که نمونه‌ی معرفی از کاربران همدم نیست و معلوم نیست نتایج در محصول دیگر برقرار بماند، و همه‌ی نوبت‌ها برای ناشناس‌سازی بازنویسی شده‌اند پس محتوا حفظ شده نه کلمات. وابستگی سازمانی نویسنده‌ها در متن در دسترس نیامده است.