Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models

مسئله

سیستم‌های چندایجنتی به مدل‌ها اجازه می‌دهند با اشتراک اطلاعات مکمل با هم کار کنند. معمولاً این ارتباط با متن است و روش‌های تازه‌تر حالت‌های درونی مدل را هم رد و بدل می‌کنند. اما انتقال حالت درونی بین معماری‌های مختلف معمولاً به یک مترجم یادگرفته یا فرض سازگاری مدل‌ها نیاز دارد.

روش

رابط SYNC مدل‌های ناهمگون را بدون تنظیم دقیق یا مترجم یادگرفته به هم وصل می‌کند. فرستنده از روی توصیف‌هایی که فقط خودش می‌بیند، برای هر شیء کلمه‌هایی از یک فهرست مشترک انتخاب می‌کند و فقط شماره‌ی آن‌ها را می‌فرستد، بی آن‌که سؤال‌ها را ببیند. گیرنده این واقعیت‌ها را با جهت‌های کلمه‌ی خودش در حالت‌های درونی‌اش می‌نویسد؛ این جهت‌ها یک بار از روی فعالیت‌های خود گیرنده به دست آمده‌اند. برای آزمون استفاده‌ی گزینشی، یک ویژگی بین دو شیء جابه‌جا می‌شود و گیرنده باید قبل و بعد از جابه‌جایی به سؤال‌های ویژگی‌های تغییرکرده و ثابت درست جواب دهد، در کل چهار جواب.

یافته‌ها

• با سه فرستنده‌ی مختلف و نه گیرنده‌ی تازه از پنج خانواده، موفقیت چهارجوابی در صحنه‌های تازه بین ۷۲ تا ۹۸٫۳ درصد بود؛ تا ۹۶ واحد درصد بهتر از نوشتن در لایه‌های میانی. دو گیرنده‌ی بزرگ‌تر هم‌پای متن ساده شدند.
• یک آزمون بدون تسک، از قبل درست پیش‌بینی کرد هر گیرنده‌ی تازه از کدام عمق‌ها می‌تواند استفاده کند (۴۵ مورد از ۴۵).
• در یک تسک نشانه‌های دیدنی با نمادهای چندتوکنی، پیام‌ها به موفقیت ۲۳٫۹ تا ۶۴ درصد رسیدند؛ پایین‌تر از متن، ولی از صفر درصد بدون پیام.

محدودیت‌ها

نویسنده‌ها می‌گویند برای واقعیت‌هایی با وزن برابر، نوشتن درونی برتری ثابتی بر متن ندارد: روی گیرنده‌های کوچک‌تر متن تا ۱۴٫۱ امتیاز بهتر است، تحویل درونی ۱٫۲ برابر کندتر است و در یک تسک کشورها متن با فاصله‌ی زیاد جلوتر است.