Feinabstimmung von Graph Neural Networks über graphenbasierte Topologie-induzierte Optimaltransport-Methoden

Kürzlich hat das Pretrain-Finetuning-Paradigma in der Gemeinschaft des Graphenlernens erhebliche Aufmerksamkeit auf sich gezogen, da es das Problem des Mangels an Labels in vielen realen Anwendungen effektiv mildern kann. Aktuelle Studien nutzen bestehende Techniken, wie Gewichtsbeschränkungen oder Repräsentationsbeschränkungen, die ursprünglich aus Bilddaten oder Textdaten stammen, um invariantes Wissen aus der Pretrain-Phase in die Finetuning-Phase zu übertragen. Diese Ansätze verfehlen jedoch die Erhaltung von Invarianzen hinsichtlich der Graphenstruktur und von Graph Neural Network (GNN)-basierten Modellen. In diesem Artikel präsentieren wir einen neuartigen, auf Optimaler Transport-Theorie basierenden Finetuning-Framework namens GTOT-Tuning, kurz für Graph Topology induced Optimal Transport fine-Tuning, für GNN-ähnliche Architekturen. GTOT-Tuning nutzt gezielt die Eigenschaften graphenbasierter Daten, um die Erhaltung der durch das Finetuning erzeugten Repräsentationen zu verbessern. Hierzu formulieren wir die Übertragung lokaler Graphenkenntnisse als ein Optimal Transport-(OT)-Problem mit einer strukturellen Prior und leiten einen GTOT-Regularisator ab, der das Verhalten des finetunenden Modells einschränkt. Durch die Nutzung der Adjazenzbeziehungen zwischen Knoten ermöglicht der GTOT-Regularisator optimalen Transport auf Knotenebene und reduziert überflüssige Transportvorgänge, was eine effiziente Wissensübertragung von vortrainierten Modellen ermöglicht. Wir evaluieren GTOT-Tuning an acht nachgeschalteten Aufgaben mit verschiedenen GNN-Architekturen und zeigen, dass es eine state-of-the-art-Finetuning-Leistung für GNNs erreicht.