HyperAIHyperAI

Command Palette

Search for a command to run...

Wissen von Graph Neural Networks extrahieren und darüber hinausgehen: Ein effektives Framework für Knowledge Distillation

Cheng Yang Jiawei Liu Chuan Shi

Zusammenfassung

Die semi-supervised Lernmethode auf Graphen ist ein zentrales Thema im Bereich des maschinellen Lernens. In den letzten Jahren haben state-of-the-art-Klassifikationsverfahren, die auf Graph Neural Networks (GNNs) basieren, ihre Überlegenheit gegenüber traditionellen Ansätzen wie Label Propagation demonstriert. Allerdings führen die komplexen Architekturen dieser neuronalen Modelle zu einer komplexen Vorhersagemechanismen, die das wertvolle vorherige Wissen in den Daten nicht optimal nutzen können – beispielsweise die Tatsache, dass strukturell korrelierte Knoten tendenziell die gleiche Klasse aufweisen. In diesem Paper stellen wir einen Rahmenwerk basierend auf Knowledge Distillation vor, um diese Probleme anzugehen. Unser Ansatz extrahiert das Wissen eines beliebigen gelernten GNN-Modells (Lehrmodell) und injiziert es in ein gut gestaltetes Schülermodell. Das Schülermodell basiert auf zwei einfachen Vorhersagemechanismen, nämlich Label Propagation und Feature-Transformation, die jeweils struktur-basiertes und feature-basiertes vorheriges Wissen natürlicherweise bewahren. Genauer gesagt entwerfen wir das Schülermodell als trainierbare Kombination aus parametrisierten Label-Propagation- und Feature-Transformation-Modulen. Dadurch kann das gelernte Schülermodell sowohl von vorherigem Wissen als auch von dem im GNN-Lehrmodell enthaltenen Wissen profitieren, um präzisere Vorhersagen zu erzielen. Zudem ist der Vorhersageprozess des gelernten Schülermodells interpretierbarer als der von GNNs. Wir führen Experimente auf fünf öffentlichen Benchmark-Datensätzen durch und nutzen sieben GNN-Modelle – darunter GCN, GAT, APPNP, SAGE, SGC, GCNII und GLP – als Lehrmodelle. Die experimentellen Ergebnisse zeigen, dass das gelernte Schülermodell im Durchschnitt um 1,4 % bis 4,7 % besser abschneidet als das entsprechende Lehrmodell. Der Quellcode und die Daten sind unter https://github.com/BUPT-GAMMA/CPF verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp