OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

مسئله

مدل‌های زبانی ویدیوی زنده باید شواهد را پیش از آن‌که ارتباطش با تسک‌های آینده معلوم شود نگه دارند و وقتی شواهد کافی رسید پاسخ دهند. چالش این است که حافظه‌ی واقعی قابل استفاده‌ی مجدد بدون آسیب به ادراک بلادرنگ ساخته شود؛ مثلاً مدل باید بعدها بتواند بگوید فردی چند دقیقه پیش کلیدش را کجا گذاشت، بدون این‌که الان از دیدن اتفاق جاری عقب بماند.

روش

مدل OneStreamer ثبت شواهد مستقل از پرسش و پاسخ به تسک را با یک فرایند تولید پیش‌دستانه‌ی مشترک یاد می‌گیرد. حافظه‌ی زیرنویس سلسله‌مراتبی آن زیرنویس‌های جزئیات محلی با زمان مشخص و خلاصه‌ی رویدادهای تمام‌شده می‌سازد که در استنتاج کنار یک پنجره‌ی بصری اخیر کانتکست واقعی می‌دهد. یادگیری گذار وضعیت، غلبه‌ی وضعیت‌های تکراری انتظار را با نگه داشتن نظارت در همه‌ی لنگرهای خروجی و انتخاب توکن‌های نماینده کم می‌کند. یک خط‌لوله‌ی تولید داده‌ی زنده هم مجموعه‌داده‌ی OneStreamer-1M را با بیش از یک میلیون رکورد ساخت.

یافته‌ها

• مدل ۴ میلیاردی در هر هشت بنچمارک فهم ویدیوی زنده‌ی ارزیابی‌شده بهترین نتیجه را در میان روش‌های مقایسه‌شده گرفت.
• نگه داشتن زیرنویس‌های تولیدشده پرسش و پاسخ تاریخی را بدون آسیب به ادراک بلادرنگ بهتر کرد.
• یادگیری گذار وضعیت با نظارت بر فقط ۲۷٫۵ درصد توکن‌های وضعیت برچسب‌خورده از نظارت متراکم بهتر بود.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده اندازه‌ی عددی بهبود روی بنچمارک‌ها را نمی‌گوید.