HyperAIHyperAI

Command Palette

Search for a command to run...

Entraînement distribué de GNN sans communication basé sur le découpage de sommets

Kaidi Cao Rui Deng Shirley Wu Edward W Huang Karthik Subbian Jure Leskovec

Résumé

L’entraînement des réseaux de neurones sur graphes (GNN) sur des graphes du monde réel comprenant des milliards de nœuds et d’arêtes s’avère particulièrement difficile, principalement en raison de la mémoire considérable nécessaire au stockage du graphe ainsi que de ses caractéristiques intermédiaires de nœuds et d’arêtes, et il existe un besoin urgent d’accélérer le processus d’entraînement. Une approche courante pour accélérer ce processus consiste à diviser le graphe en de nombreuses sous-graphes plus petits, puis à les répartir sur plusieurs GPU, installés sur une ou plusieurs machines, afin de les traiter en parallèle. Toutefois, les méthodes distribuées existantes nécessitent des communications fréquentes et importantes entre GPU, entraînant des surcharges temporelles importantes et une scalabilité qui diminue progressivement. Dans cet article, nous introduisons CoFree-GNN, un cadre novateur d’entraînement distribué des GNN, qui accélère significativement le processus d’entraînement grâce à une méthode d’entraînement sans communication. Ce cadre repose sur une partition par découpage de nœuds (Vertex Cut), c’est-à-dire qu’au lieu de couper les arêtes entre les partitions, il découpe les arêtes et duplique les informations des nœuds afin de préserver la structure du graphe. En outre, le cadre maintient une haute précision du modèle en intégrant un mécanisme de réajustement des poids pour traiter la distorsion de la distribution du graphe due aux nœuds dupliqués. Nous proposons également une version modifiée de la technique DropEdge afin d’accélérer davantage le processus d’entraînement. À l’aide d’une série d’expériences étendues sur des réseaux du monde réel, nous démontrons que CoFree-GNN accélère le processus d’entraînement des GNN jusqu’à 10 fois par rapport aux approches état-de-l’art actuelles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Entraînement distribué de GNN sans communication basé sur le découpage de sommets | Articles | HyperAI