Lernen universeller Graph Neural Network-Embeddings mit Hilfe von Transfer Learning

Die Entwicklung leistungsfähiger Dateneinbettungen (Data Embeddings) ist zu einem zentralen Bestandteil des maschinellen Lernens geworden, insbesondere in den Bereichen Natürliche Spracheverarbeitung (Natural Language Processing) und Computer Vision. Der Schlüssel dieser Einbettungen liegt darin, dass sie auf riesigen Datensammlungen auf unsupervisierter Weise vortrainiert werden, gelegentlich unterstützt durch Transferlernen. Derzeit sind jedoch die durch bestehende Graph Neural Networks (GNNs) erlernten Einbettungen im Bereich des Graphenlernens task-abhängig und können daher nicht über verschiedene Datensätze hinweg geteilt werden. In diesem Paper stellen wir erstmals ein leistungsfähiges und theoretisch garantiertes Graph Neural Network vor, das darauf ausgelegt ist, task-unabhängige Grapheneinbettungen zu lernen. Dieses Modell wird im Folgenden als Deep Universal Graph Embedding (DUGNN) bezeichnet. Unser DUGNN-Modell integriert einen neuartigen Graph Neural Network (als universellen Graphen-Encoder) und nutzt reichhaltige Graphkerne (als Multi-Task-Graphen-Decoder) sowohl für das unsupervised Lernen als auch für das adaptiv-supervised Lernen im Hinblick auf spezifische Aufgaben. Durch die Erstellung von task-unabhängigen Grapheneinbettungen über vielfältige Datensätze hinweg profitiert DUGNN zudem von den Vorteilen des Transferlernens. Durch umfangreiche Experimente und Ablationsstudien zeigen wir, dass das vorgeschlagene DUGNN-Modell sowohl gegenüber bestehenden State-of-the-Art-GNN-Modellen als auch gegenüber Graphkernen auf Benchmark-Datensätzen für Graphklassifikation konsistent eine höhere Genauigkeit um 3 % bis 8 % erreicht.