NodePiece: Zusammensetzbare und parameter-effiziente Darstellungen großer Wissensgraphen

Konventionelle Verfahren zur Repräsentationslernen in Wissensgraphen (KG) weisen jeder Entität einen eindeutigen Embedding-Vektor zu. Diese flache Abbildung führt zu einem linearen Anstieg des Speicherbedarfs für die Embedding-Matrix und verursacht bei der Arbeit mit realen Wissensgraphen hohe Rechenkosten. Analog zur subwortbasierten Tokenisierung, die in der natürlichen Sprachverarbeitung (NLP) üblich ist, untersuchen wir die Landschaft effizienterer Knoten-Embedding-Strategien mit möglicherweise sublinearer Speicheranforderung. Dazu präsentieren wir NodePiece, einen ansatzbasierten Ansatz zur Lernung einer festen Größe von Entitäten-Vokabularen. In NodePiece wird ein Vokabular aus subwort- oder subentitätsbasierten Einheiten aus ausgewählten Ankerknoten in einem Graphen mit bekannten Relationstypen konstruiert. Gegeben ein solches festes Vokabular ist es möglich, eine Kodierung und ein Embedding für jede beliebige Entität – auch solche, die während des Trainings nicht gesehen wurden – zu generieren. Experimente zeigen, dass NodePiece bei Aufgaben zur Knotenklassifikation, Link-Vorhersage und Relation-Vorhersage wettbewerbsfähig abschneidet, wobei weniger als 10 % der ursprünglichen Knoten als Anker verwendet werden und die Anzahl der Parameter oft um den Faktor 10 reduziert ist. Auf diese Weise zeigen wir, dass ein mit NodePiece ausgestattetes Modell bestehende flache Modelle auf einem großen OGB-WikiKG2-Graphen mit 70-mal weniger Parametern übertrifft.