Graph2Seq : Apprentissage de la transformation de graphes en séquences avec des réseaux neuronaux à base d'attention

La technique célèbre de l'apprentissage séquence à séquence (Seq2Seq) et ses nombreuses variantes obtiennent d'excellents résultats sur de nombreuses tâches. Cependant, de nombreuses tâches d'apprentissage automatique ont des entrées qui sont naturellement représentées sous forme de graphes ; les modèles Seq2Seq existants font face à un défi majeur pour réaliser une conversion précise du format graphe à la séquence appropriée. Pour relever ce défi, nous introduisons un nouveau modèle neuronal encodeur-décodeur général et de bout en bout qui convertit un graphe d'entrée en une séquence de vecteurs et utilise une méthode LSTM basée sur l'attention pour décoder la séquence cible à partir de ces vecteurs.Notre méthode génère tout d'abord les plongements (embeddings) des nœuds et du graphe en utilisant un réseau neuronal amélioré basé sur les graphes avec une nouvelle stratégie d'agrégation permettant d'intégrer les informations sur la direction des arêtes dans les plongements des nœuds. Nous introduisons également un mécanisme d'attention qui aligne les plongements des nœuds et la séquence de décodage afin de mieux gérer les grands graphes. Les résultats expérimentaux sur les tâches bAbI, Chemin le plus court (Shortest Path) et Génération de langage naturel montrent que notre modèle atteint des performances au niveau de l'état de l'art et dépasse significativement les réseaux neuronaux existants basés sur les graphes, ainsi que les modèles Seq2Seq et Tree2Seq. En utilisant la stratégie proposée d'agrégation bidirectionnelle des plongements des nœuds, le modèle peut converger rapidement vers la performance optimale.