Same Context, Different Agents: A Behavioral Study of Semantic Layers, Orchestration and Compaction in Data Agents

مسئله

جواب دادن به سؤال روی داده‌های ناهمگون یعنی ترکیب شواهد از فایل‌ها، پایگاه داده، اسناد و وب. ایجنت‌های داده این کار را خودکار می‌کنند و موفقیتشان به کانتکست بستگی دارد. سه تکنیک مهندسی کانتکست رایج‌اند: «لایه‌ی معنایی» که داده را توصیف می‌کند، «ارکستراسیون» که کار را بین چند ایجنت تقسیم می‌کند، و «کامپکشن» که تاریخچه را فشرده می‌کند. مطالعه‌های قبلی هر کدام را جدا سنجیده‌اند، ولی نه این‌که رفتار ایجنت چطور اثرشان را تعیین می‌کند.

روش

نویسنده‌ها هر سه تکنیک را جدا و ترکیبی، با هفت مدل زبانی روی ۱۵۱۴ تسک طولانی از پنج بنچمارک آزموده‌اند و رفتار، دقت و هزینه را اندازه گرفته‌اند.

یافته‌ها

• ایجنت‌های بدون این تکنیک‌ها سه گروه رفتاری دارند: «بازرس‌ها» که داده را می‌گردند، «زودپاسخ‌ها» که بدون نگاه به داده جواب می‌دهند، و «زودتسلیم‌ها» که دست می‌کشند.
• هر تکنیک اثر شناخته‌شده‌اش را دارد، از بررسی بیشتر تا پرامپت کوچک‌تر، اما فقط گروهی که با آن جور است این را به دقت تبدیل می‌کند؛ مثلاً زودپاسخ‌ها با ارکستراسیون بهتر می‌شوند.
• برای بازرس‌ها همین تکنیک‌ها ضرر دارند: لایه‌ی معنایی باعث می‌شود دیگر به داده نگاه نکنند، ارکستراسیون آن‌ها را بیش از حد مطمئن می‌کند و ۵ واحد درصد دقت می‌گیرد، و کامپکشن باعث تکرار قدم‌ها می‌شود. ترکیب تکنیک‌ها سود و زیانی کمتر از جمع اثرهای جداگانه دارد.

محدودیت‌ها

نویسنده‌ها می‌گویند مدل‌ها سریع عوض می‌شوند و مدل‌های تازه ممکن است رفتارهایی بیرون از این سه گروه داشته باشند؛ هرچند معیارهای رفتاری‌شان جای دادن یک مدل تازه را ساده می‌کند.