Sequenz-zu-Sequenz-Wissensgraphen-Vervollständigung und Fragebeantwortung

Wissensgraph-Embedding-(KGE)-Modelle stellen jede Entität und jede Relation eines Wissensgraphen (KG) mittels niedrigdimensionaler Embedding-Vektoren dar. Diese Verfahren wurden in letzter Zeit für die Vorhersage von Verbindungen in Wissensgraphen und für die Fragebeantwortung über unvollständige Wissensgraphen (KGQA) eingesetzt. KGE-Modelle erstellen typischerweise ein Embedding für jede Entität im Graphen, was bei realen Graphen mit Millionen von Entitäten zu sehr großen Modellgrößen führt. Für nachgeschaltete Aufgaben müssen diese atomaren Entitätsrepräsentationen oft in eine mehrstufige Pipeline integriert werden, was ihre Anwendbarkeit einschränkt. Wir zeigen, dass ein kommerziell erhältliches Encoder-Decoder-Transformer-Modell als skalierbares und vielseitiges KGE-Modell dienen kann und dabei Ergebnisse auf dem Stand der Technik für die Vorhersage von Wissensgraph-Verbindungen und die Fragebeantwortung über unvollständige Wissensgraphen erzielt. Dies erreichen wir, indem wir die Aufgabe der Verbindungsvorhersage im Wissensgraphen als Sequenz-zu-Sequenz-Aufgabe formulieren und den traditionellen Ansatz der Tripelbewertung, der von vorherigen KGE-Methoden verwendet wird, durch autoregressive Dekodierung ersetzen. Diese einfache, aber leistungsstarke Methode reduziert die Modellgröße gegenüber herkömmlichen KGE-Modellen um bis zu 98 %, während die Inferenzzeit dennoch handhabbar bleibt. Nach dem Fine-Tuning dieses Modells auf die Aufgabe der KGQA über unvollständige Wissensgraphen übertrifft unser Ansatz die Baselines auf mehreren großen Datensätzen, ohne umfangreiche Hyperparameter-Tuning-Phase zu erfordern.