Sprachmodelle als Wissensembeddings

Wissensrepräsentationen (Knowledge Embeddings, KE) stellen ein Wissensgraph (Knowledge Graph, KG) durch die Einbettung von Entitäten und Relationen in kontinuierliche Vektorräume dar. Bestehende Methoden sind hauptsächlich struktur- oder beschreibungsorientiert. Strukturorientierte Methoden lernen Repräsentationen, die die inhärente Struktur von KGs bewahren. Sie können jedoch reichhaltige Langzeitentitäten in realweltlichen KGs mit begrenzten strukturellen Informationen nicht gut darstellen. Beschreibungsorientierte Methoden nutzen textuelle Informationen und Sprachmodelle. Frühere Ansätze in dieser Richtung übertreffen strukturorientierte Methoden kaum und leiden unter Problemen wie teurer Negativstichprobenziehung und restriktiven Beschreibungsanforderungen. In diesem Artikel schlagen wir LMKE vor, eine Methode, die Sprachmodelle (Language Models) zur Ableitung von Wissensrepräsentationen verwendet, um sowohl die Repräsentation von Langzeitentitäten zu bereichern als auch die Probleme früherer beschreibungsbasierter Methoden zu lösen. Wir formulieren das beschreibungsorientierte Lernen von KE mit einem kontrastiven Lernrahmen, um Effizienz bei der Schulung und Bewertung zu verbessern. Experimentelle Ergebnisse zeigen, dass LMKE den Stand der Technik auf Benchmarks für Link-Vorhersage und Tripelklassifizierung erreicht, insbesondere bei Langzeitentitäten.