GraphGPT : Transformateur eulérien pré-entraîné génératif pour graphes

Nous introduisons GraphGPT, un nouveau modèle pré-entraîné génératif auto-supervisé pour l’apprentissage sur graphes, fondé sur le Graph Eulerian Transformer (GET). Tout d’abord, nous proposons GET, une architecture qui combine un encodeur ou décodeur de transformer classique avec une méthode innovante de transformation graphes-vers-séquences. Cette méthode convertit de manière réversible les graphes ou des sous-graphes échantillonnés en séquences de tokens représentant les nœuds, les arêtes et les attributs, en utilisant des chemins eulériens. Nous pré-entraînons GET à l’aide de l’une des deux tâches auto-supervisées : la prédiction du prochain token (NTP) ou la prédiction planifiée de tokens masqués (SMTP). Le modèle pré-entraîné est ensuite affiné pour des tâches spécifiques en aval, telles que la prédiction au niveau du graphe, de l’arête ou du nœud. Malgré sa simplicité, GraphGPT atteint des performances comparables voire supérieures à celles des méthodes de pointe sur plusieurs grands jeux de données de l’Open Graph Benchmark (OGB). Il obtient des résultats exceptionnels sur le jeu de données de prédiction de propriétés moléculaires PCQM4Mv2 et sur le jeu de données d’interactions protéine-protéine ogbl-ppa. Notamment, l’entraînement génératif permet à GraphGPT d’être échelonné à 2 milliards de paramètres tout en préservant ses gains de performance — une percée qui surmonte les limitations d’évolutivité des réseaux de neurones sur graphes (GNN) traditionnels et des transformateurs graphes précédents (GT). Afin de stimuler la recherche sur les modèles fondamentaux pour graphes et de faciliter la découverte scientifique en chimie, en science des matériaux et dans des domaines connexes, nous mettrons à disposition le code source (https://github.com/alibaba/graph-gpt) et les points de contrôle pré-entraînés.