Parseur AMR basé sur le graphe de Levi avec attention hétérogène

Associés à des décodeurs biaffines, les modèles transformer ont été efficacement adaptés à la transduction texte-graphe et ont atteint des performances de pointe sur la tâche d’analyse AMR. Toutefois, de nombreuses recherches antérieures s’appuient sur le décodeur biaffine pour la prédiction des arcs ou des étiquettes, voire des deux, bien que la plupart des caractéristiques exploitées par ce décodeur puissent déjà être apprises par le transformer lui-même. Ce papier présente une nouvelle approche pour l’analyse AMR, consistant à combiner des données hétérogènes (tokens, concepts, étiquettes) en une seule entrée pour un modèle transformer, afin d’apprendre les mécanismes d’attention, et à utiliser uniquement les matrices d’attention issues du transformer pour prédire tous les éléments du graphe AMR (concepts, arcs, étiquettes). Bien que nos modèles utilisent un nombre de paramètres significativement plus faible que le parseur graphique d’état de l’art précédent, ils atteignent une précision similaire ou supérieure sur les versions AMR 2.0 et 3.0.