HyperAIHyperAI

Command Palette

Search for a command to run...

Heterogener Graphentransformer

Ziniu Hu Yuxiao Dong Kuansan Wang Yizhou Sun

Zusammenfassung

In den letzten Jahren hat sich der Erfolg von Graph Neural Networks (GNNs) bei der Modellierung strukturierter Daten herauskristallisiert. Dennoch sind die meisten GNNs für homogene Graphen konzipiert, in denen alle Knoten und Kanten demselben Typ angehören, was es unmöglich macht, heterogene Strukturen darzustellen. In dieser Arbeit stellen wir die Architektur des Heterogeneous Graph Transformers (HGT) vor, die zur Modellierung webbasiert heterogener Graphen entwickelt wurde. Um Heterogenität zu modellieren, haben wir knoten- und kantentypabhängige Parameter entworfen, um die heterogene Aufmerksamkeit über jede Kante zu charakterisieren. Dies ermöglicht es dem HGT, spezielle Darstellungen für verschiedene Arten von Knoten und Kanten aufrechtzuerhalten. Um dynamische heterogene Graphen zu verarbeiten, führen wir die Technik des relativen zeitlichen Codierens in den HGT ein, die in der Lage ist, dynamische strukturelle Abhängigkeiten mit beliebigen Dauern zu erfassen. Um webbasierte Graphendaten zu verarbeiten, haben wir den Algorithmus für heterogenes Mini-Batch-Graphensampling---HGSampling---entwickelt, der effizientes und skalierbares Training ermöglicht. Ausführliche Experimente am Open Academic Graph mit 179 Millionen Knoten und 2 Milliarden Kanten zeigen, dass das vorgeschlagene HGT-Modell bei verschiedenen Downstream-Aufgaben stets besser abschneidet als alle aktuellen GNN-Baselines um 9%--21%.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp