Analyse de la structure syntaxique avec un encodeur auto-attentionnel

Nous démontrons que le remplacement d'un encodeur LSTM par une architecture auto-attentive peut entraîner des améliorations dans un analyseur de constituants discriminatif de pointe. L'utilisation de l'attention rend explicite la manière dont l'information est propagée entre différentes positions dans la phrase, ce que nous utilisons à la fois pour analyser notre modèle et proposer des améliorations potentielles. Par exemple, nous constatons que la séparation des informations positionnelles et de contenu dans l'encodeur peut conduire à une meilleure précision de l'analyse syntaxique. De plus, nous évaluons différentes approches pour la représentation lexicale. Notre analyseur obtient de nouveaux résultats de pointe pour les modèles individuels formés sur le Penn Treebank : 93,55 F1 sans l'utilisation de données externes, et 95,13 F1 en utilisant des représentations de mots pré-entraînées. Notre analyseur surpasse également les meilleures performances publiées précédemment sur 8 des 9 langues du jeu de données SPMRL.