Nichtlokales Aufmerksamkeitslernen auf großen heterogenen Informationsnetzwerken

Heterogene Informationsnetzwerke (HIN) fassen reichhaltige strukturelle Informationen in realen Datensätzen zusammen und spielen eine entscheidende Rolle in vielen Anwendungen des Big Data. In jüngster Zeit wurden Graphen-neuronale Netzwerke auf die Repräsentationslernung von HIN erweitert. Ein kürzlich erzielter Fortschritt ist die hierarchische Aufmerksamkeitsmechanik, die sowohl knotenbasierte als auch semantische Aufmerksamkeit integriert. Da HIN aufgrund ihrer vielfältigen Kantenarten jedoch tendenziell dicht verbunden sind, führt die wiederholte Anwendung von graphenbasierten Faltungsoperationen dazu, dass die Knotenrepräsentationen sehr schnell unlösbar werden. Um Überglättung (oversmoothing) zu vermeiden, weisen bestehende graphenbasierte neuronale Netzwerke zur HIN-Verarbeitung in der Regel eine flache Architektur auf. Dadurch werden Informationen jenseits der lokalen Nachbarschaft vernachlässigt. Dieser Entwurfsfehler widerspricht dem Prinzip des nicht-lokalen Lernens, das die Bedeutung der Erfassung langreichweitiger Abhängigkeiten betont. Um diese Einschränkung angemessen zu beheben, schlagen wir einen neuen Ansatz namens Non-Local Attention in Heterogeneous Information Networks (NLAH) vor. Unser Framework nutzt eine nicht-lokale Aufmerksamkeitsstruktur, um die hierarchische Aufmerksamkeitsmechanik zu ergänzen. Auf diese Weise können sowohl lokale als auch nicht-lokale Informationen gleichzeitig ausgenutzt werden. Zudem wurde ein gewichteter Stichprobenansatz für NLAH entworfen, um die Rechenkosten bei großen Datensätzen zu reduzieren. Umfangreiche Experimente an drei verschiedenen realen heterogenen Informationsnetzwerken zeigen, dass unser Framework eine außerordentliche Skalierbarkeit aufweist und die derzeit besten Ansätze mit deutlichem Abstand übertrifft.