TABBIE: التمثيلات المسبقة للبيانات الجدولية

العمل الحالي في تعلم تمثيل الجداول يُعدّل الجداول والنصوص المرتبطة بها بشكل مشترك باستخدام وظائف هدف ذاتية الإشراف مستمدة من نماذج اللغة المسبقة التدريب مثل BERT. بينما يحسن هذا التدريب المشترك المهام التي تتضمن جداولًا ونصوصًا مترابطة (مثل، الإجابة على الأسئلة حول الجداول)، فإننا نوضح أنه يقل أداءه في المهام التي تعمل على الجداول دون وجود أي نصوص مرتبطة بها (مثل، ملء الخلايا الفارغة). قمنا بتصميم هدف تدريب بسيط (اكتشاف الخلية الفاسدة) يتعلم حصريًا من بيانات الجدول ويصل إلى أفضل مستوى حالي في مجموعة من مهام التنبؤ القائمة على الجدول. على عكس النهج المنافسة، يقدم نموذجنا (TABBIE) تمثيلات مدمجة لجميع بنية الجدول الفرعية (الخلايا، الصفوف والأعمدة)، كما أنه يتطلب حسابات أقل بكثير للتدريب. تحليل نوعي لتمثيلات الخلايا والأعمدة والصفوف التي تعلمها نموذجنا يظهر أنها تفهم معاني الجداول المعقدة والاتجاهات العددية.