Amélioration d’un encodeur conscient de la structure avec des données extrêmement limitées pour l’analyse syntaxique basée sur les graphes

L’analyse de dépendance est une tâche fondamentale importante en traitement automatique des langues naturelles, qui consiste à analyser la structure syntaxique d’une phrase d’entrée en illustrant les relations syntaxiques entre les mots. Pour améliorer l’analyse de dépendance, il a été démontré qu’utiliser des parseurs de dépendance existants ainsi que des données supplémentaires (par exemple, via l’apprentissage semi-supervisé) est efficace, même lorsque les parseurs finaux sont entraînés sur des données inexactes (mais massives). Dans cet article, nous proposons une approche remarquablement simple pour améliorer l’analyse de dépendance basée sur les graphes, où un encodeur conscient de la structure est pré-entraîné sur des données auto-parsées en prédisant les dépendances entre mots, puis finement ajusté sur des arbres de dépendance de référence (« gold »), ce qui diffère du processus de pré-entraînement classique visant à prédire les mots contextuels le long des chemins de dépendance. Les résultats expérimentaux et les analyses montrent l’efficacité et la robustesse de notre approche, qui parvient à tirer parti des données (même bruitées) traitées par différents parseurs, dépassant ainsi des modèles de référence forts dans diverses configurations, quelles que soient les normes de dépendance et les architectures de modèles utilisées pendant le pré-entraînement et le fin ajustement. Plus important encore, des analyses supplémentaires révèlent qu’il suffit de 2 000 phrases auto-parsées pour obtenir une amélioration lors du pré-entraînement d’un parseur basé sur BERT-large classique, sans nécessiter d’ajouter de paramètres supplémentaires.