GraPPa : Pré-entraînement augmenté par la grammaire pour l'analyse sémantique de table

Nous présentons GraPPa, une approche efficace de pré-entraînement pour la parse des tables sémantiques, qui apprend une biais inductif compositionnel dans les représentations conjointes des données textuelles et tabulaires. Nous construisons des paires question-SQL synthétiques à partir de tables de haute qualité à l’aide d’une grammaire libre de contexte synchrone (SCFG) induite à partir de jeux de données existants de type texte vers SQL. Nous pré-entraînons notre modèle sur ces données synthétiques en utilisant une nouvelle tâche de liaison texte-schéma, qui prédit le rôle syntaxique d’un champ de table dans la requête SQL pour chaque paire question-SQL. Afin de préserver la capacité du modèle à représenter des données du monde réel, nous intégrons également un modèle de masking language modeling (MLM) sur plusieurs jeux de données existants de tables et de langage, afin de régulariser le processus de pré-entraînement. Sur quatre benchmarks populaires de parse sémantique de tables, à la fois entièrement supervisés et faiblement supervisés, GraPPa surpasse significativement RoBERTa-large lorsqu’il est utilisé comme couche de représentation des caractéristiques, et établit de nouveaux records d’état de l’art sur l’ensemble d’entre eux.