Transformateur graphes à graphes sensible à la syntaxe pour l'étiquetage sémantique des rôles

Les modèles récents ont démontré qu’intégrer des connaissances syntaxiques dans la tâche d’étiquetage des rôles sémantiques (SRL) conduit à une amélioration significative. Dans cet article, nous proposons un modèle appelé Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr), qui encode la structure syntaxique d’une manière originale en introduisant les relations graphiques sous forme d’embeddings directement dans le mécanisme d’attention auto-attention du Transformer. Cette approche ajoute un biais doux favorisant des motifs d’attention conformes à la structure syntaxique, tout en permettant au modèle d’utiliser ces informations pour apprendre des motifs alternatifs. Nous évaluons notre modèle sur des jeux de données SRL basés sur les spans et sur les dépendances, et obtenons de meilleurs résultats que les méthodes alternatives précédentes, tant dans des scénarios in-domain que out-of-domain, sur les jeux de données CoNLL 2005 et CoNLL 2009.