HyperAIHyperAI

Command Palette

Search for a command to run...

Kommunikationsfreies verteiltes GNN-Training mit Vertex-Cut

Kaidi Cao Rui Deng Shirley Wu Edward W Huang Karthik Subbian Jure Leskovec

Zusammenfassung

Die Ausbildung von Graph Neural Networks (GNNs) auf realen Graphen mit mehreren Milliarden Knoten und Kanten ist äußerst herausfordernd, hauptsächlich aufgrund des erheblichen Speicherverbrauchs zur Speicherung des Graphen sowie seiner Zwischenknoten- und Kantenmerkmale. Gleichzeitig besteht ein dringender Bedarf an einer Beschleunigung des Trainingsprozesses. Eine verbreitete Strategie zur Beschleunigung besteht darin, den Graphen in viele kleinere Teilgraphen zu zerlegen, die dann über mehrere GPUs in einer oder mehreren Maschinen verteilt und parallel verarbeitet werden. Allerdings erfordern bestehende verteilte Methoden häufig und umfangreiche Kommunikation zwischen den GPUs, was erhebliche Zeitoverhead verursacht und die Skalierbarkeit sukzessive verringert. Hier stellen wir CoFree-GNN vor, einen neuartigen verteilten Framework für das Training von GNNs, der den Trainingsprozess erheblich beschleunigt, indem er kommunikationsfreies Training implementiert. Der Ansatz nutzt eine Vertex-Cut-Partitionierung, bei der im Gegensatz zur traditionellen Kantenpartitionierung die Knoten nicht aufgeteilt werden, sondern die Kanten zwischen den Partitionen aufgeteilt und die Knoteninformationen dupliziert werden, um die Struktur des ursprünglichen Graphen zu bewahren. Zudem gewährleistet der Framework eine hohe Modellgenauigkeit durch die Einführung einer Neugewichtungsmethode, die die durch die duplizierten Knoten entstehende verzerrte Graphverteilung kompensiert. Außerdem schlagen wir eine modifizierte DropEdge-Technik vor, um den Trainingsprozess weiter zu beschleunigen. Anhand einer umfassenden Reihe von Experimenten auf realen Netzwerken zeigen wir, dass CoFree-GNN das Training von GNNs gegenüber den aktuellen state-of-the-art-Verfahren bis zu zehnfach beschleunigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp