BNS-GCN : Entraînement efficace sur tout le graphe de réseaux de neurones à convolution sur graphe grâce à la parallélisation par partitionnement et à l’échantillonnage aléatoire des nœuds frontières

Les réseaux de convolution sur graphes (Graph Convolutional Networks, GCNs) se sont imposés comme la méthode de pointe pour les tâches d’apprentissage basées sur les graphes. Toutefois, former des GCNs à grande échelle reste un défi majeur, ce qui entrave à la fois l’exploration d’architectures GCN plus sophistiquées et leur application à de grands graphes du monde réel. Bien qu’il paraisse naturel de recourir à une partition du graphe et à un apprentissage distribué pour relever ce défi, cette approche n’a été qu’effleurée dans les travaux antérieurs en raison des limitations inhérentes aux conceptions existantes. Dans ce travail, nous analysons d’abord les raisons pour lesquelles l’apprentissage distribué des GCNs s’avère inefficace, et identifions la cause fondamentale dans le nombre excessif de nœuds frontières présents dans chaque sous-graphe partitionné, ce qui entraîne rapidement une explosion des coûts mémoire et de communication lors de l’entraînement des GCNs. En outre, nous proposons une méthode simple mais efficace, nommée BNS-GCN, qui utilise un échantillonnage aléatoire des nœuds frontières (Boundary-Node-Sampling) afin de permettre un apprentissage distribué des GCNs à la fois efficace et évolutif. Des expérimentations et des études d’ablation confirment de manière cohérente l’efficacité de BNS-GCN : par exemple, une augmentation du débit de traitement pouvant atteindre 16,2×, une réduction de la consommation mémoire allant jusqu’à 58 %, tout en préservant une précision équivalente à celle obtenue sur l’intégralité du graphe. De plus, une analyse théorique et empirique montre que BNS-GCN présente une convergence supérieure par rapport aux méthodes basées sur l’échantillonnage existantes. Nous pensons que notre approche BNS-GCN ouvre une nouvelle voie pour permettre l’apprentissage des GCNs à grande échelle. Le code source est disponible à l’adresse suivante : https://github.com/RICE-EIC/BNS-GCN.