Wissensgraphen-Embedding mittels Graph-Attenuated-Attention-Netzwerke

Wissensgraphen enthalten eine Fülle von realweltlichem Wissen, das künstliche Intelligenz-Anwendungen starke Unterstützung bieten kann. In der Komplettierung von Wissensgraphen wurde erheblicher Fortschritt erzielt, wobei moderne Ansätze auf Graph-Convolutional Neural Networks (GCNNs) basieren. Diese Modelle extrahieren automatisch Merkmale und kombinieren sie mit den Merkmalen des Graphen, um Merkmalsembeddings mit hoher Ausdruckskraft zu generieren. Allerdings weisen diese Methoden allen Beziehungspfaden im Wissensgraphen gleiche Gewichte zu und ignorieren die reichhaltige Information, die in den Nachbar-Knoten enthalten ist, was zu einer unvollständigen Auswertung der Dreier-Tupelmerkmale führt. Um dies zu beheben, schlagen wir Graph Attenuated Attention Networks (GAATs) vor – eine neuartige Darstellungsmethode, die einen gedämpften Aufmerksamkeitsmechanismus integriert, um unterschiedliche Gewichte für verschiedene Beziehungspfade zuzuweisen und Informationen aus den Nachbarschaften zu erfassen. Dadurch können Entitäten und Relationen in beliebigen Nachbarn gelernt werden. Unsere empirischen Studien liefern Einblicke in die Wirksamkeit von auf gedämpfter Aufmerksamkeit basierenden Modellen und zeigen im Vergleich zu aktuellen Spitzenmethoden eine signifikante Verbesserung auf zwei Standard-Datensätzen, WN18RR und FB15k-237.