Réseaux de Transformateurs Graphiques

Les réseaux neuronaux sur graphes (GNNs) sont largement utilisés pour l'apprentissage de représentations sur des graphes et ont obtenu des performances de pointe dans des tâches telles que la classification de nœuds et la prédiction de liens. Cependant, la plupart des GNNs existants sont conçus pour apprendre des représentations de nœuds sur des graphes fixes et homogènes. Ces limitations deviennent particulièrement problématiques lorsqu'il s'agit d'apprendre des représentations sur un graphe mal spécifié ou un graphe hétérogène composé de différents types de nœuds et d'arêtes. Dans cet article, nous proposons les Graph Transformer Networks (GTNs), capables de générer de nouvelles structures de graphes, en identifiant des connexions utiles entre les nœuds non connectés du graphe original, tout en apprenant une représentation efficace de nœuds sur ces nouveaux graphes de manière end-to-end. La couche Graph Transformer, qui est la couche centrale des GTNs, apprend une sélection souple de types d'arêtes et de relations composites pour générer des connexions multi-sauts utiles, appelées méta-chemins. Nos expériences montrent que les GTNs apprennent de nouvelles structures de graphes basées sur les données et les tâches sans connaissances spécifiques au domaine, et produisent une représentation puissante de nœuds par convolution sur ces nouveaux graphes. Sans prétraitement spécifique au domaine du graphe, les GTNs ont obtenu la meilleure performance dans trois tâches standard de classification de nœuds, surpassant les méthodes d'avant-garde qui nécessitent des méta-chemins prédéfinis issus des connaissances spécifiques au domaine.