Command Palette
Search for a command to run...
Graph-less Neural Networks: Alte MLPs durch Distillation neue Tricks beibringen
Graph-less Neural Networks: Alte MLPs durch Distillation neue Tricks beibringen
Shichang Zhang Yozen Liu Yizhou Sun Neil Shah
Zusammenfassung
Graph Neural Networks (GNNs) sind beliebt für graphbasierte Maschinenlernverfahren und haben bei einer Vielzahl von Knotenklassifizierungsaufgaben hervorragende Ergebnisse erzielt. Dennoch sind sie für praktische Einsatzszenarien in der Industrie weniger verbreitet, da sie aufgrund ihrer Datenabhängigkeit skalierbarkeitsbedingte Herausforderungen aufweisen. Insbesondere hängt die GNN-Inferenz von Nachbarn mehrerer Hops vom Zielknoten ab, wodurch das Abrufen dieser Nachbarn latenzkritische Anwendungen belastet. Bestehende Methoden zur Beschleunigung der Inferenz, wie Pruning und Quantisierung, können GNNs beschleunigen, indem sie die Anzahl der Multiplication-and-Accumulation (MAC)-Operationen reduzieren. Doch die Verbesserungen sind begrenzt, solange die Datenabhängigkeit nicht adressiert wird. Im Gegensatz dazu weisen Multi-Layer Perceptrons (MLPs) keine graphbasierte Abhängigkeit auf und sind selbst bei geringerer Genauigkeit im Vergleich zu GNNs bei der Knotenklassifizierung deutlich schneller in der Inferenz. Ausgehend von diesen komplementären Stärken und Schwächen verbinden wir GNNs und MLPs mittels Knowledge Distillation (KD). Unsere Studie zeigt, dass die Leistung von MLPs durch GNN-basierte KD erheblich verbessert werden kann. Wir bezeichnen die abgeleiteten MLPs als graphlose Neuronale Netzwerke (Graph-less Neural Networks, GLNNs), da sie während der Inferenz keine graphbasierte Abhängigkeit mehr aufweisen. Wir zeigen, dass GLNNs mit konkurrenzfähiger Genauigkeit 146- bis 273-fach schneller inferieren als GNNs und 14- bis 27-fach schneller als andere Beschleunigungsansätze. In einer Produktionsumgebung, die sowohl transductive als auch inductive Vorhersagen über sieben Datensätze umfasst, erreichen GLNNs im Durchschnitt eine um 12,36 % höhere Genauigkeit im Vergleich zu reinen MLPs und erreichen die Genauigkeit von GNNs auf sechs von sieben Datensätzen. Eine umfassende Analyse zeigt, unter welchen Bedingungen und aus welchen Gründen GLNNs eine konkurrenzfähige Genauigkeit im Vergleich zu GNNs erzielen können, und unterstreicht die Eignung von GLNNs als praktikable Lösung für latenzkritische Anwendungen.