Verbesserung des Aufmerksamkeitsmechanismus in Graph Neural Networks durch Kardinalitätsbewahrung

Graph Neural Networks (GNNs) sind leistungsfähig bei der Lernrepräsentation von graphenstrukturierten Daten. Die meisten GNNs verwenden das Message-Passing-Verfahren, bei dem die Einbettung eines Knotens durch Aggregation der Informationen seiner Nachbarn iterativ aktualisiert wird. Um eine bessere Ausdrucksstärke der Knoteneinflüsse zu erreichen, hat sich der Aufmerksamkeitsmechanismus zunehmend zur Zuweisung von trainierbaren Gewichten den Knoten in der Aggregation etabliert. Obwohl die aufmerksamkeitsbasierten GNNs in verschiedenen Aufgaben erstaunliche Ergebnisse erzielt haben, fehlt es an einem klaren Verständnis ihrer Diskriminationsfähigkeiten. In dieser Arbeit präsentieren wir eine theoretische Analyse der repräsentativen Eigenschaften des GNNs, das den Aufmerksamkeitsmechanismus als Aggregator verwendet. Unsere Analyse bestimmt alle Fälle, in denen diese aufmerksamkeitsbasierten GNNs nicht in der Lage sind, bestimmte unterschiedliche Strukturen zu unterscheiden. Diese Fälle treten aufgrund der Vernachlässigung von Kardinalitätsinformationen im aufmerksamkeitsbasierten Aggregationsverfahren auf. Um die Leistungsfähigkeit der aufmerksamkeitsbasierten GNNs zu verbessern, schlagen wir Kardinalitätserhaltende Aufmerksamkeitsmodelle (Cardinality Preserved Attention, CPA) vor, die auf beliebige Arten von Aufmerksamkeitsmechanismen angewendet werden können. Unsere Experimente zur Knoten- und Graphklassifizierung bestätigen unsere theoretische Analyse und zeigen die wettbewerbsfähige Leistung unserer CPA-Modelle.