Strukturverstärkte Lernmethoden für textbasierte Darstellungen zur effizienten Vervollständigung von Wissensgraphen

Menschlich kuratierte Wissensgraphen liefern entscheidende unterstützende Informationen für verschiedene Aufgaben im Bereich der natürlichen Sprachverarbeitung, sind jedoch häufig unvollständig, was die automatische Vervollständigung erforderlich macht. Übliche Ansätze der Graph-Embedding-Technik, wie beispielsweise TransE, lernen strukturiertes Wissen, indem sie Graph-Elemente in dichte Embeddings abbilden und deren Beziehungen auf Dreier-Relationsebene mittels räumlicher Distanzen erfassen. Diese Ansätze sind jedoch kaum generalisierbar auf Elemente, die im Trainingsprozess nicht aufgetreten sind, und sind intrinsisch anfällig gegenüber der Unvollständigkeit des Graphen. Im Gegensatz dazu setzen textbasierte Encoding-Ansätze, wie beispielsweise KG-BERT, auf die Textinformationen der Graph-Dreier und kontextuelle Darstellungen auf Dreier-Ebene. Sie zeichnen sich durch ausreichende Generalisierbarkeit und Robustheit gegenüber Unvollständigkeiten aus, insbesondere wenn sie mit vortrainierten Encoder-Modellen kombiniert werden. Zwei wesentliche Nachteile beschränken jedoch ihre Leistungsfähigkeit: (1) hohe Rechenkosten aufgrund der kostspieligen Bewertung aller möglichen Dreier im Inferenzprozess und (2) der Mangel an strukturiertem Wissen im textuellen Encoder. In diesem Paper folgen wir dem paradigmatischen Ansatz des textuellen Encoding und zielen darauf ab, dessen Nachteile zu mildern, indem wir ihn mit Techniken des Graph-Embedding ergänzen – einem komplementären hybriden Ansatz beider Paradigmen. Konkret partitionieren wir jede Dreier-Relation in zwei asymmetrische Teile, wie es in translationbasierten Graph-Embedding-Ansätzen üblich ist, und kodieren beide Teile mittels eines Siamese-artigen textuellen Encoders in kontextuelle Darstellungen. Aufbauend auf diesen Darstellungen nutzt unser Modell sowohl einen deterministischen Klassifikator zur Lernung der Repräsentation als auch eine räumliche Messung zur Erfassung der Struktur. Zudem entwickeln wir ein selbstadaptives Ensemble-Verfahren, um die Leistung weiter zu verbessern, indem wir die Dreier-Scores eines bestehenden Graph-Embedding-Modells integrieren. In Experimenten erreichen wir auf drei Benchmarks und einer Zero-Shot-Datenset für die Link-Vorhersage eine state-of-the-art-Leistung, wobei sich die Inferenzkosten im Vergleich zu einem rein textbasierten Ansatz um 1 bis 2 Größenordnungen reduzieren lassen.