Zell-Aufmerksamkeitsnetzwerke

Seit ihrer Einführung erzielten Graph-Attention-Netzwerke herausragende Ergebnisse bei Aufgaben des Graphenrepräsentationslernens. Allerdings berücksichtigen diese Netzwerke lediglich paarweise Beziehungen zwischen Knoten und können somit die höherwertigen Wechselwirkungen, die in vielen realen Datensätzen vorhanden sind, nicht vollständig ausnutzen. In diesem Artikel stellen wir Cell Attention Networks (CANs) vor, eine neuronale Architektur, die auf Daten operiert, die über die Knoten eines Graphen definiert sind, und den Graphen als 1-Skelett eines Zellenkomplexes darstellt, um höherwertige Wechselwirkungen zu erfassen. Insbesondere nutzen wir die unteren und oberen Nachbarschaften, wie sie im Zellenkomplex kodiert sind, um zwei unabhängige maskierte Selbst-Attention-Mechanismen zu entwerfen, wodurch die herkömmliche Graph-Attention-Strategie verallgemeinert wird. Der Ansatz von CANs ist hierarchisch und umfasst folgende Schritte: i) einen Lift-Algorithmus, der aus Knotenmerkmalen Kantenmerkmale lernt; ii) einen Zellen-Attention-Mechanismus zur Bestimmung der optimalen Kombination von Kantenmerkmalen über sowohl untere als auch obere Nachbarn; iii) eine hierarchische Kanten-Pooling-Mechanismus zur Extraktion einer kompakten, bedeutungsvollen Menge von Merkmalen. Die experimentellen Ergebnisse zeigen, dass CAN eine geringe Komplexität aufweist und sich gegenüber den aktuellen Stand der Technik bei graphbasierten Lernaufgaben als überlegen erweist.