Command Palette
Search for a command to run...
Modélisation de la structure de graphe par position relative pour la génération de texte à partir de graphes de connaissances
Modélisation de la structure de graphe par position relative pour la génération de texte à partir de graphes de connaissances
Martin Schmitt Leonardo F. R. Ribeiro Philipp Dufter Iryna Gurevych Hinrich Schütze
Résumé
Nous présentons Graformer, une nouvelle architecture encodeur-décodeur basée sur le Transformer pour la génération de texte à partir de graphes. Grâce à notre mécanisme d'auto-attention graphique novateur, l'encodage d'un nœud dépend de tous les nœuds du graphe d'entrée, et non seulement de ses voisins directs, ce qui facilite la détection de motifs globaux. Nous représentons la relation entre deux nœuds par la longueur du plus court chemin les reliant. Graformer apprend à pondérer ces relations nœud-nœud différemment pour chaque tête d'attention, permettant ainsi virtuellement d'apprendre des vues différemment connectées du graphe d'entrée. Nous évaluons Graformer sur deux benchmarks populaires de génération de texte à partir de graphes, AGENDA et WebNLG, où il obtient des performances solides tout en utilisant beaucoup moins de paramètres que les autres approches.