DAGCN: Duale Aufmerksamkeits-Graphenkonvolutionalnetzwerke

Graph Convolutional Networks (GCNs) sind in den letzten Jahren zu einem der leistungsfähigsten Werkzeuge für Graph-Analyse-Aufgaben in zahlreichen Anwendungen geworden, von sozialen Netzwerken und natürlicher Sprachverarbeitung bis hin zu Bioinformatik und Chemoinformatik, dank ihrer Fähigkeit, komplexe Beziehungen zwischen Konzepten zu erfassen. Derzeit verwenden die meisten GCNs ein Nachbarschaftsaggregationsframework, um einen kontinuierlichen und kompakten Vektor zu lernen, gefolgt von einer Pooling-Operation, um die Graph-Einbettung für die Klassifizierungsaufgabe zu verallgemeinern. Diese Ansätze haben bei der Graph-Klassifizierung zwei Nachteile: (1) Wenn nur die größte Subgraph-Struktur ($k$-Hops-Nachbar) für die Nachbarschaftsaggregation verwendet wird, werden während des Graph-Convolutions-Schritts große Mengen an Frühphaseninformationen verloren; (2) Die Verwendung einfacher Durchschnitts-/Summen-Pooling oder Max-Pooling führt dazu, dass die Eigenschaften einzelner Knoten und die Topologie zwischen den Knoten verloren gehen. In dieser Arbeit schlagen wir ein neues Framework vor, das als Dual Attention Graph Convolutional Networks (DAGCN) bezeichnet wird, um diese Probleme anzugehen. DAGCN lernt automatisch die Bedeutung von Nachbarn auf verschiedenen Hops mithilfe eines neuartigen Aufmerksamkeitsgraphkonvolutionsschichts und verwendet dann eine zweite Aufmerksamkeitskomponente, eine Selbstaufmerksamkeits-Pooling-Schicht, um die Graph-Darstellung aus verschiedenen Aspekten einer Matrix-Graph-Einbettung zu verallgemeinern. Das duale Aufmerksamkeitsnetzwerk wird für die Graph-Klassifizierungsaufgabe end-to-end trainiert. Wir vergleichen unser Modell mit den besten bisher bekannten Graph-Kernen und anderen Deep-Learning-Methoden. Die experimentellen Ergebnisse zeigen, dass unser Framework nicht nur andere Baselines übertrifft, sondern auch eine bessere Konvergenzrate erreicht.