Strategien für das Pre-Training von Graph Neural Networks

Viele Anwendungen des maschinellen Lernens erfordern, dass ein Modell präzise Vorhersagen auf Testbeispielen treffen kann, die sich in ihrer Verteilung von den Trainingsbeispielen unterscheiden, während task-spezifische Labels während des Trainings knapp sind. Ein effektiver Ansatz für diese Herausforderung besteht darin, ein Modell zunächst auf verwandten Aufgaben vorzutrainieren, bei denen Datenreichhaltigkeit gegeben ist, und es dann an einem interessanten Downstream-Aufgabe zu feintunen. Obwohl das Vortrainieren in vielen Sprach- und Visiondomänen erfolgreich war, bleibt die Frage offen, wie man das Vortrainieren effektiv auf Graphendatensätze anwenden kann. In dieser Arbeit entwickeln wir eine neue Strategie und selbstüberwachte Methoden für das Vortrainieren von Graph Neural Networks (GNNs). Der Schlüssel zum Erfolg unserer Strategie liegt darin, einen ausdrucksstarken GNN sowohl auf der Ebene einzelner Knoten als auch ganzer Graphen vorzutrainieren, sodass der GNN gleichzeitig nützliche lokale und globale Repräsentationen lernen kann. Wir untersuchen das Vortrainieren systematisch an mehreren Datensätzen zur Graphklassifikation. Wir stellen fest, dass naive Strategien, die GNNs entweder auf der Ebene ganzer Graphen oder einzelner Knoten vortrainieren, nur begrenzte Verbesserungen bringen und sogar zu negativen Transferphänomenen bei vielen Downstream-Aufgaben führen können. Im Gegensatz dazu vermeidet unsere Strategie negative Transfers und verbessert die Generalisierungsignifikant über mehrere Downstream-Aufgaben hinweg, was zu absoluten Steigerungen von bis zu 9,4 % im ROC-AUC-Vergleich zu nicht vortrainierten Modellen führt und den aktuellen Stand der Technik in der Vorhersage molekularer Eigenschaften und der Proteinfunktionsvorhersage erreicht.