Graphenrepräsentationslernen durch harte und kanalweise Aufmerksamkeitsnetzwerke

Aufmerksamkeitsoperatoren werden in verschiedenen Bereichen weitgehend eingesetzt, darunter Computer Vision, Natürliche Sprachverarbeitung und Netzwerk-Einbettungslernen. Aufmerksamkeitsoperatoren auf Graphendaten ermöglichen lernbare Gewichte beim Aggregieren von Informationen aus benachbarten Knoten. Allerdings verbrauchen Graph-Aufmerksamkeitsoperatoren (GAOs) übermäßige Rechenressourcen, was ihre Anwendung auf großen Graphen erschwert. Zudem gehören GAOs zur Familie der Soft-Aufmerksamkeit, nicht der Hard-Aufmerksamkeit, die bessere Leistungen erzielt hat. In dieser Arbeit schlagen wir neue Hard-Graph-Aufmerksamkeitsoperatoren (hGAOs) und kanalweise Graph-Aufmerksamkeitsoperatoren (cGAOs) vor. Der hGAO verwendet das Hard-Aufmerksamkeitsmechanismus, indem er sich nur auf wichtige Knoten konzentriert. Im Vergleich zu GAO verbessert hGAO die Leistung und spart Rechenkosten, indem er sich nur auf wichtige Knoten bezieht. Um die Anforderungen an Rechenressourcen weiter zu reduzieren, schlagen wir den cGAO vor, der Aufmerksamkeitsoperationen entlang der Kanäle durchführt. Der cGAO vermeidet die Abhängigkeit von der Adjazenzmatrix, was zu drastischen Reduktionen der Anforderungen an Rechenressourcen führt. Experimentelle Ergebnisse zeigen, dass unsere vorgeschlagenen tiefen Modelle mit den neuen Operatoren stets bessere Leistungen erzielen. Vergleichsergebnisse deuten zudem darauf hin, dass hGAO bei sowohl Knoten- als auch Grapheneinbettungsaufgaben signifikant bessere Leistungen als GAO erzielt. Effizienzvergleiche zeigen außerdem, dass unser cGAO zu enormen Einsparungen an Rechenressourcen führt und somit für große Graphen einsetzbar ist.