Command Palette
Search for a command to run...
Heterogener Graphentransformer
Heterogener Graphentransformer
Ziniu Hu Yuxiao Dong Kuansan Wang Yizhou Sun
Zusammenfassung
In den letzten Jahren hat sich der Erfolg von Graph Neural Networks (GNNs) bei der Modellierung strukturierter Daten herauskristallisiert. Dennoch sind die meisten GNNs für homogene Graphen konzipiert, in denen alle Knoten und Kanten demselben Typ angehören, was es unmöglich macht, heterogene Strukturen darzustellen. In dieser Arbeit stellen wir die Architektur des Heterogeneous Graph Transformers (HGT) vor, die zur Modellierung webbasiert heterogener Graphen entwickelt wurde. Um Heterogenität zu modellieren, haben wir knoten- und kantentypabhängige Parameter entworfen, um die heterogene Aufmerksamkeit über jede Kante zu charakterisieren. Dies ermöglicht es dem HGT, spezielle Darstellungen für verschiedene Arten von Knoten und Kanten aufrechtzuerhalten. Um dynamische heterogene Graphen zu verarbeiten, führen wir die Technik des relativen zeitlichen Codierens in den HGT ein, die in der Lage ist, dynamische strukturelle Abhängigkeiten mit beliebigen Dauern zu erfassen. Um webbasierte Graphendaten zu verarbeiten, haben wir den Algorithmus für heterogenes Mini-Batch-Graphensampling---HGSampling---entwickelt, der effizientes und skalierbares Training ermöglicht. Ausführliche Experimente am Open Academic Graph mit 179 Millionen Knoten und 2 Milliarden Kanten zeigen, dass das vorgeschlagene HGT-Modell bei verschiedenen Downstream-Aufgaben stets besser abschneidet als alle aktuellen GNN-Baselines um 9%--21%.