vor 2 Monaten
GaAN: Gated Attention Networks für das Lernen auf großen und räumlich-zeitlichen Graphen
Jiani Zhang; Xingjian Shi; Junyuan Xie; Hao Ma; Irwin King; Dit-Yan Yeung

Abstract
Wir schlagen eine neue Netzwerkarchitektur vor, die Gated Attention Networks (GaAN), für das Lernen auf Graphen. Im Gegensatz zum traditionellen Multi-Head-Attention-Mechanismus, der alle Aufmerksamkeitsköpfe gleichwertig verwendet, nutzt GaAN ein konvolutionsbasiertes Unter-Netzwerk, um die Bedeutung jedes Aufmerksamkeitskopfes zu steuern. Wir zeigen die Effektivität von GaAN am Problem der induktiven Knotenklassifikation. Darüber hinaus bauen wir mit GaAN als Baustein die Graph Gated Recurrent Unit (GGRU), um das Problem der Verkehrsgeschwindigkeitsvorhersage anzugehen. Ausführliche Experimente mit drei realen Datensätzen zeigen, dass unser GaAN-Framework auf beiden Aufgaben stand der Technik entsprechende Ergebnisse erzielt.