Feinabstimmung von Graph Neural Networks durch Erhaltung von graphengenerierenden Mustern

Kürzlich wurde das Paradigma des Vortrainings und Feintunings von Graph Neural Networks (GNNs) intensiv erforscht und in einer Vielzahl von graphenbasierten Datenmining-Aufgaben angewendet. Der Erfolg dieses Ansatzes wird allgemein auf die strukturelle Konsistenz zwischen den Vortrainings- und den Downstream-Datensätzen zurückgeführt, was in vielen realen Szenarien jedoch nicht zutrifft. Bestehende Arbeiten haben gezeigt, dass die strukturelle Divergenz zwischen Vortrainings- und Downstream-Graphen die Übertragbarkeit erheblich einschränkt, wenn die herkömmliche Feintuning-Strategie verwendet wird. Diese Divergenz führt dazu, dass das Modell überangepasst an die Vortrainings-Graphen wird und Schwierigkeiten hat, die strukturellen Eigenschaften der Downstream-Graphen zu erfassen. In diesem Artikel identifizieren wir die grundlegende Ursache der strukturellen Divergenz als die Diskrepanz der Generierungsmuster zwischen Vortrainings- und Downstream-Graphen. Darüber hinaus stellen wir G-Tuning vor, um die Generierungsmuster der Downstream-Graphen zu bewahren. Gegeben ein Downstream-Graph G besteht die zentrale Idee darin, den vortrainierten GNN so zu justieren, dass er die Generierungsmuster von G, d.h. die Graphon W, rekonstruieren kann. Die exakte Rekonstruktion einer Graphon ist jedoch bekanntermaßen rechenaufwendig. Um dieser Herausforderung zu begegnen, führen wir eine theoretische Analyse durch, die die Existenz einer Menge alternativer Graphonen, sogenannter Graphon-Basen, für jede gegebene Graphon nachweist. Durch die Verwendung einer linearen Kombination dieser Graphon-Basen lässt sich W effizient approximieren. Dieses theoretische Ergebnis bildet die Grundlage unseres vorgeschlagenen Modells, da es eine effektive Lernung der Graphon-Basen und ihrer zugehörigen Koeffizienten ermöglicht. Im Vergleich zu bestehenden Algorithmen zeigt G-Tuning im Durchschnitt eine Verbesserung um 0,5 % bei in-domain- und 2,6 % bei out-of-domain-Transfer-Lern-Experimenten.