Which Metadata Matters for LLM Tool Selection in MCP? Evidence from Controlled Factor-Level Interventions

مسئله

در سیستم‌های MCP، مدل زبانی ابزار را از روی فراداده انتخاب می‌کند، نه پیاده‌سازی: نام و توضیح خلاصه می‌کنند ابزار چه می‌کند و اسکیمای پارامترها فیلدهای ورودی و سازمانشان را مشخص می‌کند. تحلیل فراداده‌ی ۳۶۷۱۷۴ ابزار MCP نشان داد ابزارهای مشابه از نظر کارکرد اسکیماهای خیلی متفاوتی دارند؛ مثلاً چند ابزار «ارسال ایمیل» با نام و توضیح مشابه ولی پارامترهای متفاوت. سؤال این است که آیا تفاوت اسکیما پیش از هر فراخوانی روی انتخاب ابزار اثر می‌گذارد.

روش

نویسنده‌ها مداخله‌های کنترل‌شده روی فراداده را در پنج مدل زبانی و پنج تسک اجرا کردند. هر مقایسه دقیقاً یک عامل را عوض می‌کند (نام سرور، نام ابزار، توضیح یا اسکیمای پارامتر) و بقیه را ثابت نگه می‌دارد. جایگاه ابزارها متوازن شد و اثرها با رگرسیون لجستیک شرطی و تعدیل جایگاه برآورد شدند.

یافته‌ها

• تغییر اسکیمای پارامتر بزرگ‌ترین و پایدارترین جابه‌جایی انتخاب را ساخت؛ مدل‌ها پارامترهای جدا در سطح بالا را به شکل‌های گروهی یا ترکیبی ترجیح می‌دهند.
• توضیح‌هایی که پارامترها را شرح می‌دهند هم انتخاب را بیشتر می‌کنند، ولی اثر نام ضعیف‌تر و ناپایدارتر است.
• اثر اسکیما به نام خاص پارامترها و نحوه‌ی بیان اطلاعات در درخواست بستگی دارد؛ وقتی فقط یک اسکیما با نیاز صریح درخواست سازگار است، هر پنج مدل با وجود ترجیح جایگاه ابزار سازگار را انتخاب کردند.

محدودیت‌ها

نویسنده‌ها می‌گویند یافته‌ها به مدل‌ها، تسک‌ها، نسخه‌های فراداده و اندازه‌ی مجموعه‌ی نامزدهای آزموده‌شده و به درخواست‌های تک‌نوبتی انگلیسی تولیدشده با مدل بدون اجرای ابزار محدودند، و فقط رفتار انتخاب سنجیده شده نه فرایند تصمیم.