HarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments

مسئله

مدل‌های تبدیل متن به SQL معمولاً آموزش می‌بینند که پرسش را مستقیم به یک کوئری ایستا تبدیل کنند، اما ایجنت‌های واقعی پایگاه داده با تعامل چندنوبتی و وضعیت‌دار با پایگاه داده‌ی زنده کار می‌کنند: شِما را بررسی می‌کنند، کوئری آزمایشی اجرا می‌کنند، خطا را تشخیص می‌دهند و فرضیه را اصلاح می‌کنند. چون هارنس اجرایی فقط در زمان استنتاج وارد می‌شود، بین آموزش و استقرار ناهمخوانی جدی پیش می‌آید.

روش

چارچوب HarnessSQL ساختار کامل تعامل را هم در تنظیم دقیق نظارت‌شده و هم در یادگیری تقویتی حفظ می‌کند. محیط‌های پایگاه داده‌ی ایزوله و اجرایی با داورهای اجرایی پنهان می‌سازد، مدل‌های معلم را مستقیم درون هارنس هدف اجرا می‌کند و فقط مسیرهای تأییدشده را برای تنظیم دقیق روی کل دنباله نگه می‌دارد، و بعد یادگیری تقویتی با پاداش اجرایی انجام می‌دهد.

یافته‌ها

• روی Spider ۲٫۰-SQLite دقت اجرایی Qwen3-8B را از ۱۵٫۵ به ۴۵٫۲ درصد و Qwen3-14B را از ۲۲٫۲ به ۵۴٫۸ درصد رساند.
• به بنچمارک‌های تعاملی خارج از توزیع مثل BIRD-Interact و LiveSQLBench هم به‌خوبی منتقل شد.

محدودیت‌ها

نویسنده‌ها می‌گویند مطالعه عمدتاً روی SQLite است، در حالی که بنچمارک‌های واقعی گویش‌هایی مثل PostgreSQL، Snowflake و BigQuery هم دارند؛ این محدودیت تا حدی از ضعف مدل‌های کوچک پایه در گویش‌های دیگر می‌آید.