GraPPa: التدريب المسبق المُعزّز بالقواعد لتحليل المعنى الجدولية

نقدم نموذج GraPPa، وهو منهج فعّال للتدريب المسبق لتحليل المعنى الجداول، والذي يتعلم انحيازًا استنتاجيًا تراكبيًا في التمثيلات المشتركة للبيانات النصية والجداول. قمنا ببناء أزواج أسئلة-SQL اصطناعية على جداول عالية الجودة باستخدام قواعد سياقية حرة متزامنة (SCFG) التي تم استخلاصها من مجموعات بيانات موجودة لتحويل النص إلى SQL. تم تدريب نموذجنا على البيانات الاصطناعية باستخدام هدف جديد لربط النص بالهيكل (text-schema linking) يتنبأ بالدور النحوي لحقل الجدول في استعلام SQL لكل زوج سؤال-SQL. ولضمان الحفاظ على قدرة النموذج على تمثيل البيانات في العالم الحقيقي، أدرجنا أيضًا نموذجًا للنمذجة المُقنّعة للغة (MLM) على عدة مجموعات بيانات موجودة للجداول واللغة، بهدف تنظيم عملية التدريب المسبق. وعلى أربع معايير شائعة للتحليل المعنوي للجداول، سواء في البيئات المُدرَّبة بالكامل أو الضعيفة التدريب، تفوق GraPPa بشكل ملحوظ على RoBERTa-large عند استخدامه كطبقات تمثيل الميزات، وحقق نتائج جديدة قياسية على جميع هذه المعايير.