SimKGC: Einfache kontrastive Wissensgraph-Vervollständigung mit vortrainierten Sprachmodellen

Wissensgraph-Vervollständigung (Knowledge Graph Completion, KGC) zielt darauf ab, über bekannte Fakten zu inferieren und fehlende Beziehungen abzuleiten. Textbasierte Ansätze wie KGBERT (Yao et al., 2019) lernen Entitätsrepräsentationen aus natürlichsprachlichen Beschreibungen und besitzen das Potenzial für induktive KGC. Dennoch bleibt die Leistungsfähigkeit textbasierter Methoden im Vergleich zu graphenembeddingbasierten Ansätzen wie TransE (Bordes et al., 2013) und RotatE (Sun et al., 2019b) erheblich hinterher. In dieser Arbeit identifizieren wir den zentralen Grund dafür als ineffizientes kontrastives Lernen. Um die Lerneffizienz zu steigern, führen wir drei Arten von Negativen ein: In-Batch-Negativen, Pre-Batch-Negativen und Selbst-Negativen, die als einfache Form von Hard Negatives fungieren. In Kombination mit der InfoNCE-Verlustfunktion erreicht unser vorgeschlagener Ansatz SimKGC erheblich bessere Ergebnisse als bisherige Embedding-basierte Methoden auf mehreren Benchmark-Datensätzen. In Bezug auf den mittleren reziproken Rang (Mean Reciprocal Rank, MRR) verbessern wir die Stand der Technik um +19 % auf WN18RR, +6,8 % im transduktiven Setting von Wikidata5M und +22 % im induktiven Setting von Wikidata5M. Ausführliche Analysen ermöglichen tiefere Einblicke in die Funktion jedes einzelnen Komponenten. Unser Quellcode ist unter https://github.com/intfloat/SimKGC verfügbar.