Locate, Judge, Read: Role-Specialized Tool Agents over a Knowledge-Point Index for Open-Domain Multimodal Document QA

مسئله

پرسش و پاسخ روی مجموعه‌های بزرگ و ناهمگون اسناد اول نیاز دارد بخش‌های درست پیدا شوند و بعد خوانده شوند، اما ایجنت‌های بازیابی فعلی هر دو نوع ابزار را به یک مدل می‌دهند و می‌گذارند خودش زمان‌بندی کند؛ نتیجه این است که مدل اغلب به جای خواندن، مدام جست‌وجو می‌کند.

روش

خط لوله‌ی KnowForge کارها را جدا می‌کند: یک نمایه‌ی نقطه‌های دانش با بازیابی ترکیبی؛ یک ایجنت یابنده که فقط جست‌وجو می‌کند؛ یک داور پل که با کد زمان‌بندی می‌شود و پرش دوم جاافتاده را اجباری می‌کند؛ یک مخزن شواهد نوع‌دار و محدود که رتبه‌بندی همه‌ی جست‌وجوها را ادغام می‌کند؛ یک ایجنت خواننده‌ی عمیق که فقط متن، تصویر و جدول می‌خواند؛ و یک ترکیب‌کننده با بررسی قالب.

یافته‌ها

• با مدل Qwen3.6-35B-A3B میزبانی‌شده‌ی محلی، روی نسخه‌ی کامل M3DocVQA با ۲۴۴۱ پرسش و ۳۳۶۸ سند به امتیاز F1 برابر ۴۷٫۵ رسید: ۱۱ امتیاز بالاتر از سیستم منتشرشده‌ی M3DocRAG و ۷٫۱ امتیاز بالاتر از بازیابی و پاسخ یک‌مرحله‌ای با همان نمایه و مدل.
• با مدل DeepSeek-V4-Flash همین معیار به ۵۳٫۵ رسید.
• روی MultiHop-RAG به دقت ۷۳٫۵ رسید، بالاتر از قوی‌ترین نتیجه‌های منتشرشده (۷۱٫۲)، و روی MMLongBench-Doc همان مدل را از ۳۴٫۸ به ۴۷ رساند، هم‌سطح GPT-4o که تصویر صفحه‌ها را می‌خواند.
• ادغام دو ایجنت در یکی با همه‌ی ابزارها و دو برابر دور، ۱٫۹ امتیاز F1 از دست داد چون به جای خواندن جست‌وجو را ادامه داد؛ ارزش خواننده‌ی عمیق با بصری بودن هر مجموعه هم‌راستا بود.

محدودیت‌ها

نویسنده‌ها می‌گویند خط اصلی روی یک مدل میزبانی‌شده اجرا می‌شود و فقط روی دو خانواده‌ی مدل کامل تأیید شده؛ مدل‌های باز کوچک‌تر پروتکل خروجی را قابل اعتماد دنبال نکردند.