Graph-Bert : Seule l'attention est nécessaire pour l'apprentissage de représentations de graphes

Les réseaux de neurones sur graphe (GNN) dominants s'appuient excessivement sur les liens du graphe, ce qui a déjà conduit à plusieurs problèmes de performance sérieux, tels que le problème de « suspension d’animation » (suspended animation) et le problème de sur-lissage (over-smoothing). En outre, la nature intrinsèquement interconnectée des graphes empêche toute parallélisation au sein du graphe, ce qui devient critique pour les graphes de grande taille, les contraintes mémoire limitant le regroupement (batching) des nœuds. Dans cet article, nous présentons un nouveau modèle de réseau de neurones sur graphe, nommé GRAPH-BERT (Graph-based BERT), fondé exclusivement sur le mécanisme d’attention, sans recours à des opérateurs de convolution ou d’agrégation graphiques. Contrairement à l’approche classique consistant à fournir à GRAPH-BERT le graphe d’entrée complet et volumineux, nous proposons d’entraîner GRAPH-BERT à partir de sous-graphes sans liens, extraits de manière échantillonnée dans leurs contextes locaux. GRAPH-BERT peut être appris efficacement en mode autonome. Par ailleurs, un modèle GRAPH-BERT pré-entraîné peut être directement transféré à d’autres tâches d’application, soit sans modification, soit après une fine-tuning nécessaire, si des informations étiquetées supervisées ou un objectif spécifique à une application sont disponibles. Nous avons évalué l’efficacité de GRAPH-BERT sur plusieurs jeux de données standards de graphes. En se basant sur le pré-entraînement de GRAPH-BERT via les tâches de reconstruction des attributs des nœuds et de récupération de la structure, nous avons ensuite effectué une fine-tuning spécifique sur des tâches de classification de nœuds et de regroupement de graphes. Les résultats expérimentaux démontrent que GRAPH-BERT surpasser les GNN existants en termes à la fois d’efficacité et de performance d’apprentissage.