Compréhension des tableaux avec un pré-entraînement intermédiaire

Le table entailment, tâche de classification binaire visant à déterminer si une phrase est soutenue ou réfutée par le contenu d'un tableau, nécessite l'analyse de la langue et de la structure du tableau, ainsi que des raisonnements numériques et discrets. Bien qu'il existe un travail considérable sur l'entailment textuel, le table entailment est moins bien étudié. Nous adaptons TAPAS (Herzig et al., 2020), un modèle BERT basé sur les tableaux, pour reconnaître l'entailment. Inspirés par les avantages de l'augmentation de données, nous créons un ensemble de données équilibré comprenant des millions d'exemples d'entraînement générés automatiquement, qui sont appris lors d'une étape intermédiaire avant le réglage fin. Ces nouvelles données ne sont pas seulement utiles pour le table entailment, mais également pour SQA (Iyyer et al., 2017), une tâche de questions-réponses séquentielle sur les tableaux. Pour pouvoir utiliser des exemples longs en tant qu'entrée des modèles BERT, nous évaluons des techniques de réduction de tableaux comme étape préalable afin d'améliorer considérablement l'efficacité de l'entraînement et de la prédiction avec une baisse modérée de la précision. Les différentes méthodes établissent un nouveau niveau d'état de l'art sur les ensembles de données TabFact (Chen et al., 2020) et SQA.