Apprentissage de représentations au niveau du graphe avec des architectures prédictives de co-embedding

Les Architectures Prédictives de Codage Conjoints (JEPAs) sont récemment apparues comme une nouvelle et puissante technique pour l'apprentissage supervisé par soi-même des représentations. Elles visent à apprendre un modèle énergétique en prédiction de la représentation latente d'un signal cible (y) à partir de la représentation latente d'un signal contextuel (x). Les JEPAs évitent le besoin d'échantillons négatifs et positifs, traditionnellement requis par l'apprentissage par contraste, tout en contournant les problèmes de surapprentissage associés à l'préentraînement génératif. Dans cet article, nous montrons que les représentations au niveau du graphe peuvent être efficacement modélisées en utilisant ce paradigme en proposant une Architecture Prédictive de Codage Conjoints pour Graphe (Graph-JEPA). Plus précisément, nous utilisons un modèle masqué et nous concentrons sur la prédiction des représentations latentes des sous-graphes masqués à partir de la représentation latente d'un sous-graphe contextuel. Pour doter les représentations de la hiérarchie implicite souvent présente dans les concepts au niveau du graphe, nous élaborons un objectif de prédiction alternatif qui consiste à prédire les coordonnées des sous-graphes encodés sur l'hyperbole unité dans le plan 2D. À travers plusieurs évaluations expérimentales, nous démontrons que Graph-JEPA peut apprendre des représentations hautement sémantiques et expressives, comme en témoigne la performance en aval dans la classification de graphes, la régression et la distinction de graphes non isomorphes. Le code est disponible sur https://github.com/geriskenderi/graph-jepa.