Wissen von Graph Neural Networks extrahieren und darüber hinausgehen: Ein effektives Framework für Knowledge Distillation

Die semi-supervised Lernmethode auf Graphen ist ein zentrales Thema im Bereich des maschinellen Lernens. In den letzten Jahren haben state-of-the-art-Klassifikationsverfahren, die auf Graph Neural Networks (GNNs) basieren, ihre Überlegenheit gegenüber traditionellen Ansätzen wie Label Propagation demonstriert. Allerdings führen die komplexen Architekturen dieser neuronalen Modelle zu einer komplexen Vorhersagemechanismen, die das wertvolle vorherige Wissen in den Daten nicht optimal nutzen können – beispielsweise die Tatsache, dass strukturell korrelierte Knoten tendenziell die gleiche Klasse aufweisen. In diesem Paper stellen wir einen Rahmenwerk basierend auf Knowledge Distillation vor, um diese Probleme anzugehen. Unser Ansatz extrahiert das Wissen eines beliebigen gelernten GNN-Modells (Lehrmodell) und injiziert es in ein gut gestaltetes Schülermodell. Das Schülermodell basiert auf zwei einfachen Vorhersagemechanismen, nämlich Label Propagation und Feature-Transformation, die jeweils struktur-basiertes und feature-basiertes vorheriges Wissen natürlicherweise bewahren. Genauer gesagt entwerfen wir das Schülermodell als trainierbare Kombination aus parametrisierten Label-Propagation- und Feature-Transformation-Modulen. Dadurch kann das gelernte Schülermodell sowohl von vorherigem Wissen als auch von dem im GNN-Lehrmodell enthaltenen Wissen profitieren, um präzisere Vorhersagen zu erzielen. Zudem ist der Vorhersageprozess des gelernten Schülermodells interpretierbarer als der von GNNs. Wir führen Experimente auf fünf öffentlichen Benchmark-Datensätzen durch und nutzen sieben GNN-Modelle – darunter GCN, GAT, APPNP, SAGE, SGC, GCNII und GLP – als Lehrmodelle. Die experimentellen Ergebnisse zeigen, dass das gelernte Schülermodell im Durchschnitt um 1,4 % bis 4,7 % besser abschneidet als das entsprechende Lehrmodell. Der Quellcode und die Daten sind unter https://github.com/BUPT-GAMMA/CPF verfügbar.