HyperAIHyperAI

Command Palette

Search for a command to run...

Graph-less Neural Networks: Alte MLPs durch Distillation neue Tricks beibringen

Shichang Zhang Yozen Liu Yizhou Sun Neil Shah

Zusammenfassung

Graph Neural Networks (GNNs) sind beliebt für graphbasierte Maschinenlernverfahren und haben bei einer Vielzahl von Knotenklassifizierungsaufgaben hervorragende Ergebnisse erzielt. Dennoch sind sie für praktische Einsatzszenarien in der Industrie weniger verbreitet, da sie aufgrund ihrer Datenabhängigkeit skalierbarkeitsbedingte Herausforderungen aufweisen. Insbesondere hängt die GNN-Inferenz von Nachbarn mehrerer Hops vom Zielknoten ab, wodurch das Abrufen dieser Nachbarn latenzkritische Anwendungen belastet. Bestehende Methoden zur Beschleunigung der Inferenz, wie Pruning und Quantisierung, können GNNs beschleunigen, indem sie die Anzahl der Multiplication-and-Accumulation (MAC)-Operationen reduzieren. Doch die Verbesserungen sind begrenzt, solange die Datenabhängigkeit nicht adressiert wird. Im Gegensatz dazu weisen Multi-Layer Perceptrons (MLPs) keine graphbasierte Abhängigkeit auf und sind selbst bei geringerer Genauigkeit im Vergleich zu GNNs bei der Knotenklassifizierung deutlich schneller in der Inferenz. Ausgehend von diesen komplementären Stärken und Schwächen verbinden wir GNNs und MLPs mittels Knowledge Distillation (KD). Unsere Studie zeigt, dass die Leistung von MLPs durch GNN-basierte KD erheblich verbessert werden kann. Wir bezeichnen die abgeleiteten MLPs als graphlose Neuronale Netzwerke (Graph-less Neural Networks, GLNNs), da sie während der Inferenz keine graphbasierte Abhängigkeit mehr aufweisen. Wir zeigen, dass GLNNs mit konkurrenzfähiger Genauigkeit 146- bis 273-fach schneller inferieren als GNNs und 14- bis 27-fach schneller als andere Beschleunigungsansätze. In einer Produktionsumgebung, die sowohl transductive als auch inductive Vorhersagen über sieben Datensätze umfasst, erreichen GLNNs im Durchschnitt eine um 12,36 % höhere Genauigkeit im Vergleich zu reinen MLPs und erreichen die Genauigkeit von GNNs auf sechs von sieben Datensätzen. Eine umfassende Analyse zeigt, unter welchen Bedingungen und aus welchen Gründen GLNNs eine konkurrenzfähige Genauigkeit im Vergleich zu GNNs erzielen können, und unterstreicht die Eignung von GLNNs als praktikable Lösung für latenzkritische Anwendungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Graph-less Neural Networks: Alte MLPs durch Distillation neue Tricks beibringen | Paper | HyperAI