Intégration des informations de graphe dans le parsing AMR basé sur les Transformers

Résumé : La Représentation Abstraite du Sens (AMR) est une formalisation de l'analyse sémantique visant à fournir une abstraction sous forme de graphe sémantique représentant un texte donné. Les approches actuelles reposent sur des modèles de langage auto-régressifs tels que BART ou T5, affinés par le biais de la méthode d'Enseignement Forcé pour obtenir une version linéarisée du graphe AMR à partir d'une phrase. Dans cet article, nous présentons LeakDistill, un modèle et une méthode qui explorent une modification de l'architecture Transformer, en utilisant des adaptateurs structuraux pour incorporer explicitement les informations graphiques dans les représentations apprises et améliorer les performances de l'analyse AMR. Nos expériences montrent comment, en utilisant l'alignement mot-nœud pour intégrer les informations structurelles du graphe dans l'encodeur pendant l'apprentissage, il est possible d'obtenir des résultats d'analyse AMR de pointe grâce à la distillation de connaissances auto-supervisée, même sans l'utilisation de données supplémentaires. Nous mettons le code à disposition sur \url{http://www.github.com/sapienzanlp/LeakDistill}.