Analyse syntaxique AMR avec Transformer à pointeur d’action

La représentation sémantique abstraite (AMR) est une tâche de prédiction de graphe à partir de phrases, où les nœuds cibles ne sont pas explicitement alignés aux mots de la phrase. Toutefois, puisque les nœuds du graphe sont sémantiquement fondés sur un ou plusieurs mots de la phrase, des alignements implicites peuvent être déduits. Les parseurs basés sur des transitions traitent la phrase de gauche à droite, capturant ainsi un biais inductif grâce à des alignements, au prix d'une expressivité limitée. Dans ce travail, nous proposons un système basé sur des transitions qui combine une attention forte sur la phrase avec un mécanisme de pointeur d’action côté cible, afin de délier les mots sources des représentations de nœuds et de résoudre les problèmes d’alignement. Nous modélisons les transitions ainsi que le mécanisme de pointeur à l’aide de modifications simples au sein d’une seule architecture Transformer. L’état du parseur et les informations sur la structure du graphe sont encodés de manière efficace à l’aide de têtes d’attention. Nous montrons que notre approche à pointeur d’action permet une expressivité accrue et obtient des gains importants (+1,6 point) par rapport au meilleur parseur transitionnel AMR dans des conditions très similaires. Sans recours à une re-catégorisation du graphe, notre modèle unique atteint le deuxième meilleur score Smatch sur AMR 2.0 (81,8), qui est amélioré à 83,4 grâce à l’utilisation de données « silver » et à un décodage par ensemble.