Entraînement distribué de GNN sans communication basé sur le découpage de sommets

L’entraînement des réseaux de neurones sur graphes (GNN) sur des graphes du monde réel comprenant des milliards de nœuds et d’arêtes s’avère particulièrement difficile, principalement en raison de la mémoire considérable nécessaire au stockage du graphe ainsi que de ses caractéristiques intermédiaires de nœuds et d’arêtes, et il existe un besoin urgent d’accélérer le processus d’entraînement. Une approche courante pour accélérer ce processus consiste à diviser le graphe en de nombreuses sous-graphes plus petits, puis à les répartir sur plusieurs GPU, installés sur une ou plusieurs machines, afin de les traiter en parallèle. Toutefois, les méthodes distribuées existantes nécessitent des communications fréquentes et importantes entre GPU, entraînant des surcharges temporelles importantes et une scalabilité qui diminue progressivement. Dans cet article, nous introduisons CoFree-GNN, un cadre novateur d’entraînement distribué des GNN, qui accélère significativement le processus d’entraînement grâce à une méthode d’entraînement sans communication. Ce cadre repose sur une partition par découpage de nœuds (Vertex Cut), c’est-à-dire qu’au lieu de couper les arêtes entre les partitions, il découpe les arêtes et duplique les informations des nœuds afin de préserver la structure du graphe. En outre, le cadre maintient une haute précision du modèle en intégrant un mécanisme de réajustement des poids pour traiter la distorsion de la distribution du graphe due aux nœuds dupliqués. Nous proposons également une version modifiée de la technique DropEdge afin d’accélérer davantage le processus d’entraînement. À l’aide d’une série d’expériences étendues sur des réseaux du monde réel, nous démontrons que CoFree-GNN accélère le processus d’entraînement des GNN jusqu’à 10 fois par rapport aux approches état-de-l’art actuelles.