HyperAIHyperAI

Command Palette

Search for a command to run...

Feinabstimmung von Graph Neural Networks über graphenbasierte Topologie-induzierte Optimaltransport-Methoden

Jiying Zhang Xi Xiao Long-Kai Huang Yu Rong Yatao Bian

Zusammenfassung

Kürzlich hat das Pretrain-Finetuning-Paradigma in der Gemeinschaft des Graphenlernens erhebliche Aufmerksamkeit auf sich gezogen, da es das Problem des Mangels an Labels in vielen realen Anwendungen effektiv mildern kann. Aktuelle Studien nutzen bestehende Techniken, wie Gewichtsbeschränkungen oder Repräsentationsbeschränkungen, die ursprünglich aus Bilddaten oder Textdaten stammen, um invariantes Wissen aus der Pretrain-Phase in die Finetuning-Phase zu übertragen. Diese Ansätze verfehlen jedoch die Erhaltung von Invarianzen hinsichtlich der Graphenstruktur und von Graph Neural Network (GNN)-basierten Modellen. In diesem Artikel präsentieren wir einen neuartigen, auf Optimaler Transport-Theorie basierenden Finetuning-Framework namens GTOT-Tuning, kurz für Graph Topology induced Optimal Transport fine-Tuning, für GNN-ähnliche Architekturen. GTOT-Tuning nutzt gezielt die Eigenschaften graphenbasierter Daten, um die Erhaltung der durch das Finetuning erzeugten Repräsentationen zu verbessern. Hierzu formulieren wir die Übertragung lokaler Graphenkenntnisse als ein Optimal Transport-(OT)-Problem mit einer strukturellen Prior und leiten einen GTOT-Regularisator ab, der das Verhalten des finetunenden Modells einschränkt. Durch die Nutzung der Adjazenzbeziehungen zwischen Knoten ermöglicht der GTOT-Regularisator optimalen Transport auf Knotenebene und reduziert überflüssige Transportvorgänge, was eine effiziente Wissensübertragung von vortrainierten Modellen ermöglicht. Wir evaluieren GTOT-Tuning an acht nachgeschalteten Aufgaben mit verschiedenen GNN-Architekturen und zeigen, dass es eine state-of-the-art-Finetuning-Leistung für GNNs erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Feinabstimmung von Graph Neural Networks über graphenbasierte Topologie-induzierte Optimaltransport-Methoden | Paper | HyperAI