HyperAIHyperAI

Command Palette

Search for a command to run...

Feinabstimmung von Graph Neural Networks durch Erhaltung von graphengenerierenden Mustern

Yifei Sun Qi Zhu Yang Yang Chunping Wang Tianyu Fan Jiajun Zhu Lei Chen

Zusammenfassung

Kürzlich wurde das Paradigma des Vortrainings und Feintunings von Graph Neural Networks (GNNs) intensiv erforscht und in einer Vielzahl von graphenbasierten Datenmining-Aufgaben angewendet. Der Erfolg dieses Ansatzes wird allgemein auf die strukturelle Konsistenz zwischen den Vortrainings- und den Downstream-Datensätzen zurückgeführt, was in vielen realen Szenarien jedoch nicht zutrifft. Bestehende Arbeiten haben gezeigt, dass die strukturelle Divergenz zwischen Vortrainings- und Downstream-Graphen die Übertragbarkeit erheblich einschränkt, wenn die herkömmliche Feintuning-Strategie verwendet wird. Diese Divergenz führt dazu, dass das Modell überangepasst an die Vortrainings-Graphen wird und Schwierigkeiten hat, die strukturellen Eigenschaften der Downstream-Graphen zu erfassen. In diesem Artikel identifizieren wir die grundlegende Ursache der strukturellen Divergenz als die Diskrepanz der Generierungsmuster zwischen Vortrainings- und Downstream-Graphen. Darüber hinaus stellen wir G-Tuning vor, um die Generierungsmuster der Downstream-Graphen zu bewahren. Gegeben ein Downstream-Graph G besteht die zentrale Idee darin, den vortrainierten GNN so zu justieren, dass er die Generierungsmuster von G, d.h. die Graphon W, rekonstruieren kann. Die exakte Rekonstruktion einer Graphon ist jedoch bekanntermaßen rechenaufwendig. Um dieser Herausforderung zu begegnen, führen wir eine theoretische Analyse durch, die die Existenz einer Menge alternativer Graphonen, sogenannter Graphon-Basen, für jede gegebene Graphon nachweist. Durch die Verwendung einer linearen Kombination dieser Graphon-Basen lässt sich W effizient approximieren. Dieses theoretische Ergebnis bildet die Grundlage unseres vorgeschlagenen Modells, da es eine effektive Lernung der Graphon-Basen und ihrer zugehörigen Koeffizienten ermöglicht. Im Vergleich zu bestehenden Algorithmen zeigt G-Tuning im Durchschnitt eine Verbesserung um 0,5 % bei in-domain- und 2,6 % bei out-of-domain-Transfer-Lern-Experimenten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp