A Strong Harness Narrows the Model Gap: A Comparative Evaluation for Legislative Document-to-XML Conversion

مسئله

بازتولید محتوای حقوقی باید دقیقاً با منبع یکی باشد: سلسله‌مراتب بخش‌ها، متن عینی، ارجاع‌ها و بازه‌ی اصلاحیه‌ها. یک ارجاع جاافتاده یا اصلاحیه‌ی غلط‌برچسب‌خورده مستقیم به محصولاتی می‌رسد که وکیل‌ها به آن‌ها تکیه می‌کنند.

روش

نویسنده‌ها یک خط لوله‌ی صنعتی را که قانون‌های ایالتی آمریکا را به XML سخت‌گیرانه با اسکیما تبدیل می‌کند گزارش می‌دهند و فرض می‌کنند دقتش بیشتر از مهندسی هارنس، یعنی ابزارهای قطعی اطراف مدل، می‌آید تا خود مدل. یک آزمایش کنترل‌شده سه هارنس (بدون نمونه، یک ایجنت ابزاردار و یک خط لوله‌ی چندایجنتی تجزیه‌شده) را با سه مدل Claude روی ۱۵۳ لایحه‌ی مرجع از دو حوزه‌ی قضایی ترکیب کرد.

یافته‌ها

• ضعیف‌ترین مدل در خط لوله‌ی کامل از قوی‌ترین مدل به تنهایی بهتر بود: ۰٫۹۴۸ در برابر ۰٫۸۰۶.
• چون دو هارنس ایجنتی ابزارهای یکسانی دارند، فاصله‌شان از هماهنگ‌سازی می‌آید: تجزیه‌ی کار به همراه وضعیت ماندگار و کانتکست جداگانه‌ی هر ایجنت.
• پراکندگی مدل‌ها از ۰٫۶۸ تا ۰٫۸۱ در حالت بدون نمونه به حدود ۰٫۹۵ در خط لوله‌ی کامل رسید؛ باقی‌مانده تقریباً همه در استانداردسازی ارجاع‌هاست، که شناسه‌ی درست از یک مرجع بیرونی بازیابی می‌شود و یک ابزار جست‌وجوی قطعی دقتی می‌دهد که مدل بزرگ‌تر نمی‌دهد.

محدودیت‌ها

نویسنده‌ها می‌گویند خروجی پیش از بازبینی ویراستاری امتیاز داده شده، نه نسخه‌ی اصلاح‌شده‌ی انسانی که منتشر می‌شود؛ و در آزمایش، همه‌ی ایجنت‌ها یک مدل داشتند در حالی که سیستم واقعی ترکیبی است.