Réduction de dimensionnalité et passage de messages pour les embeddings de nœuds de graphe

Les réseaux de neurones graphiques (GNN) sont devenus une approche populaire pour de nombreuses applications, allant de l’analyse des réseaux sociaux à la modélisation des propriétés chimiques des molécules. Bien que les GNN affichent souvent des performances remarquables sur des jeux de données publics, ils peinent souvent à capturer les dépendances à longue portée dans les données en raison de tendances à l’over-smoothing et à l’over-squashing. Pour atténuer ce défi, nous proposons PCAPass, une méthode qui combine l’analyse en composantes principales (PCA) et le passage de messages afin de générer des embeddings de nœuds de manière non supervisée, tout en exploitant des arbres de décision à gradient boosté pour les tâches de classification. Nous montrons empiriquement que cette approche atteint des performances compétitives par rapport aux GNN populaires sur des benchmarks de classification de nœuds, tout en intégrant des informations provenant de voisinages éloignés. Notre recherche démontre qu’appliquer une réduction de dimensionnalité combinée à un passage de messages et à des connexions de type skip est un mécanisme prometteur pour agréger les dépendances à longue portée dans les données structurées sous forme de graphe.