GraphVite: Ein hochleistungs-fähiges CPU-GPU-Hybridsystem für Knoten-Embeddings

Das Lernen kontinuierlicher Darstellungen von Knoten weckt in der jüngsten Zeit zunehmendes Interesse sowohl in der Wissenschaft als auch in der Industrie, aufgrund ihrer Einfachheit und Effektivität in einer Vielzahl von Anwendungen. Die meisten existierenden Knoteneinbettungsalgorithmen und -systeme sind in der Lage, Netzwerke mit Hunderttausenden oder wenigen Millionen Knoten zu verarbeiten. Allerdings bleibt die Skalierung dieser Algorithmen und Systeme auf Netzwerke mit Zehnmillionen oder sogar Hundertmillionen Knoten eine herausfordernde Aufgabe. In diesem Artikel schlagen wir GraphVite vor, ein hochleistungsfähiges CPU-GPU-Hybridsystem zur Erstellung von Knoteneinbettungen, indem wir Algorithmus und System gemeinsam optimieren. Auf der CPU-Seite werden erweiterte Kantenproben durch zufällige Spaziergänge im Netzwerk in Echtzeit parallel generiert und dienen als Trainingsdaten. Auf der GPU-Seite wird ein neuer paralleler negativer Samplingvorschlag vorgestellt, um mehrere GPUs gleichzeitig zur Erstellung von Knoteneinbettungen einzusetzen, wobei Datenübertragung und Synchronisation minimiert werden. Darüber hinaus wird eine effiziente Kooperationsstrategie vorgeschlagen, um die Synchronisationskosten zwischen CPUs und GPUs weiter zu reduzieren. Experimente anhand mehrerer realweltlichen Netzwerke zeigen, dass GraphVite außerordentlich effizient ist. Für ein Netzwerk mit einer Million Knoten und fünf Millionen Kanten dauert es auf einem einzelnen Rechner mit vier GPUs nur etwa eine Minute, während für ein Netzwerk mit 66 Millionen Knoten und 1,8 Milliarden Kanten etwa 20 Stunden benötigt werden. Im Vergleich zum momentan schnellsten System ist GraphVite etwa 50-mal schneller, ohne dabei Leistungseinbußen zu verursachen.