DensE: Eine verbesserte nicht-kommutative Darstellung für Wissensgraphen-Embedding mit adaptiver semantischer Hierarchie
Die Erfassung von Zusammensetzungsmustern von Relationen ist eine zentrale Aufgabe im Bereich der Wissensgraphen-Vervollständigung und bildet zudem eine grundlegende Voraussetzung für multi-hop-Reasoning über gelerntes Wissen. Bisher wurden mehrere rotationsbasierte translationsbasierte Methoden entwickelt, um zusammengesetzte Relationen mittels des Produkts einer Folge komplexwertiger Diagonalmatrizen zu modellieren. Diese Ansätze neigen jedoch dazu, mehrere vereinfachende Annahmen über zusammengesetzte Relationen zu treffen, beispielsweise die Forderung nach Kommutativität, Unabhängigkeit von Entitäten und das Fehlen einer semantischen Hierarchie. Um diese Probleme systematisch anzugehen, haben wir eine neuartige Methode zur Embedding von Wissensgraphen, namens DensE, entwickelt, um eine verbesserte Modellierung komplexer Zusammensetzungsstrukturen von Relationen zu ermöglichen. Insbesondere zerlegt unsere Methode jede Relation in einen SO(3)-Gruppen-basierten Rotationsoperator und einen Skalierungsoperator im dreidimensionalen (3-D) euklidischen Raum. Dieser Entwurfsansatz führt zu mehreren Vorteilen unserer Methode: (1) Für zusammengesetzte Relationen können die entsprechenden Diagonalmatrizen nicht-kommutativ sein, was einer dominierenden Situation in realen Anwendungen entspricht; (2) Unser Modell bewahrt die natürliche Interaktion zwischen relationalen Operationen und Entitäts-Embeddings; (3) Die Skalierungsoperation verleiht dem Modell die Fähigkeit, die inhärente semantische Hierarchiestruktur von Entitäten zu modellieren; (4) Die erhöhte Ausdruckskraft von DensE wird dabei mit hoher rechnerischer Effizienz hinsichtlich sowohl der Parameteranzahl als auch der Trainingszeit erreicht; und (5) Die Modellierung von Entitäten im euklidischen Raum statt im Quaternionenraum bewahrt die direkte geometrische Interpretierbarkeit relationaler Muster. Experimentelle Ergebnisse auf mehreren Standard-Wissensgraphen-Benchmark-Datensätzen zeigen, dass DensE die derzeitigen state-of-the-art-Modelle bei der Vorhersage fehlender Verbindungen übertrifft, insbesondere bei zusammengesetzten Relationen.