From Benchmarks to Production: A Text-to-SQL System for Complex Financial Data

مسئله

سیستم‌های عمومی تبدیل متن به SQL روی بنچمارک‌های دانشگاهی مثل Spider و BIRD خوب‌اند، چون طرح‌ها کم‌عمق و مقادیر ستون‌ها معمولاً خواناست. در پایگاه‌داده‌های مالی تولیدی مفاهیم به شکل کلیدهای عددی مبهم ذخیره می‌شوند؛ مثلاً نوع یک رویداد مالی به جای نامش با یک عدد ثبت شده است، پس حتی پرسش ساده چند پیوند و فیلتر روی شناسه‌های مبهم لازم دارد و این روش‌ها زیر ۵۰ درصد می‌مانند.

روش

سیستم FLINT سه جزء کلیدی دارد: یک ایجنت جست‌وجو که مفاهیم زبان طبیعی را به قیدهای جدول مرجع ویژه‌ی هر پرسش تبدیل می‌کند، بازیابی مبتنی بر بردار جاسازی از قالب‌های پرس‌وجوی ساختاری مشابه از یک بانک فشرده‌ی نوشته‌ی متخصص، و پیوند طرح که با پیمایش زنجیره‌های کلید خارجی، طرح بزرگ را به زیرمجموعه‌ی مرتبط هرس می‌کند.

یافته‌ها

• روی دو مجموعه‌داده با ۳۵۹ پرسش روی طرح‌های مالی تولیدی، با همان مدل زبانی از چند پایه‌ی پیشرفته بهتر بود.
• سیستم در تولید به عنوان بخشی از یک سرویس بازیابی داده‌ی مالی مستقر شده است.

محدودیت‌ها

نویسنده‌ها می‌گویند قاعده‌های دامنه را متخصصان دستی می‌نویسند که هزینه‌ی پیکربندی برای هر دامنه دارد و خودکار به پایگاه‌داده‌های جدید مقیاس نمی‌یابد، و جزء بازیابی به بانک پرس‌وجوی گزینش‌شده نیاز دارد که روی طرح جدید بدون پرس‌وجوی تاریخی در دسترس نیست. چکیده عدد دقت را نمی‌گوید.