MoCoSA: Momentum Contrast für die Vervollständigung von Wissensgraphen mit strukturverstärkten vortrainierten Sprachmodellen

Wissensgraph-Vervollständigung (KGC) zielt darauf ab, auf den Fakten innerhalb von Wissensgraphen zu schließen und fehlende Verbindungen automatisch zu inferieren. Bestehende Methoden lassen sich hauptsächlich in strukturbasierte oder beschreibungsorientierte einordnen. Einerseits repräsentieren strukturbasierte Methoden relationale Fakten in Wissensgraphen effektiv durch Entitäts-Embeddings. Sie haben jedoch Schwierigkeiten mit semantisch reichen realweltlichen Entitäten aufgrund begrenzter struktureller Informationen und können nicht auf unbekannte Entitäten verallgemeinern. Andererseits nutzen beschreibungsorientierte Methoden vortrainierte Sprachmodelle (PLMs), um textuelle Informationen zu verstehen. Sie zeigen eine starke Robustheit gegenüber unbekannten Entitäten, haben aber Probleme mit größeren negativen Stichproben und fallen oft hinter strukturbasierten Methoden zurück.Um diese Herausforderungen anzugehen, schlagen wir in dieser Arbeit Momentum Contrast für die Wissensgraph-Vervollständigung mit strukturaugmentierten vortrainierten Sprachmodellen (MoCoSA) vor. Dies ermöglicht es dem PLM, durch einen anpassungsfähigen Strukturencoder strukturelle Informationen wahrzunehmen. Um die Lerneffizienz zu verbessern, haben wir Momentum-Hard-Negative- und Intra-Relation-Negative-Stichprobenziehung vorgeschlagen. Experimentelle Ergebnisse zeigen, dass unser Ansatz den Stand der Technik in Bezug auf den durchschnittlichen Reziproken Rang (MRR) erreicht, wobei Verbesserungen von 2,5 % bei WN18RR und 21 % bei OpenBG500 festgestellt wurden.