فهم الجداول مع التدريب المسبق الوسيط

الجدول الاستدلال، وهو مهمة التصنيف الثنائية لتحديد ما إذا كانت جملة مدعومة أو مرفوضة من قبل محتوى الجدول، يتطلب تحليل اللغة وبنية الجدول بالإضافة إلى الاستدلال العددي والمنفصل. رغم وجود أعمال كثيرة في مجال الاستدلال النصي، فإن الاستدلال الجدولي لم يُدرس بشكل كافٍ. نحن نكيف نموذج TAPAS (هرزيغ وآخرون، 2020)، وهو نموذج BERT القائم على الجداول، للاعتراف بالاستدلال. مستوحين من فوائد زيادة البيانات، قمنا بإنشاء مجموعة بيانات متوازنة تتضمن ملايين الأمثلة التدريبية التي تم إنشاؤها تلقائيًا والتي يتم تعلمها في خطوة وسيطة قبل التعديل الدقيق. هذه البيانات الجديدة ليست فقط مفيدة للاستدلال الجدولي، بل أيضًا لمهمة SQA (إيير وآخرون، 2017)، وهي مهمة أسئلة وإجابات جدولية متسلسلة. للتمكن من استخدام أمثلة طويلة كمدخلات لنماذج BERT، نقوم بتقييم تقنيات تقليم الجداول كخطوة معالجة أولية لتحسين كفاءة التدريب والتوقع بشكل كبير مع انخفاض معتدل في الدقة. الطرق المختلفة تحدد الحالة الجديدة الأكثر تقدمًا في مجموعتي بيانات TabFact (تشن وآخرون، 2020) وSQA.