HyperAIHyperAI

Command Palette

Search for a command to run...

MoCoSA: Momentum Contrast für die Vervollständigung von Wissensgraphen mit strukturverstärkten vortrainierten Sprachmodellen

Jiabang He Liu Jia Lei Wang Xiyao Li Xing Xu

Zusammenfassung

Wissensgraph-Vervollständigung (KGC) zielt darauf ab, auf den Fakten innerhalb von Wissensgraphen zu schließen und fehlende Verbindungen automatisch zu inferieren. Bestehende Methoden lassen sich hauptsächlich in strukturbasierte oder beschreibungsorientierte einordnen. Einerseits repräsentieren strukturbasierte Methoden relationale Fakten in Wissensgraphen effektiv durch Entitäts-Embeddings. Sie haben jedoch Schwierigkeiten mit semantisch reichen realweltlichen Entitäten aufgrund begrenzter struktureller Informationen und können nicht auf unbekannte Entitäten verallgemeinern. Andererseits nutzen beschreibungsorientierte Methoden vortrainierte Sprachmodelle (PLMs), um textuelle Informationen zu verstehen. Sie zeigen eine starke Robustheit gegenüber unbekannten Entitäten, haben aber Probleme mit größeren negativen Stichproben und fallen oft hinter strukturbasierten Methoden zurück.Um diese Herausforderungen anzugehen, schlagen wir in dieser Arbeit Momentum Contrast für die Wissensgraph-Vervollständigung mit strukturaugmentierten vortrainierten Sprachmodellen (MoCoSA) vor. Dies ermöglicht es dem PLM, durch einen anpassungsfähigen Strukturencoder strukturelle Informationen wahrzunehmen. Um die Lerneffizienz zu verbessern, haben wir Momentum-Hard-Negative- und Intra-Relation-Negative-Stichprobenziehung vorgeschlagen. Experimentelle Ergebnisse zeigen, dass unser Ansatz den Stand der Technik in Bezug auf den durchschnittlichen Reziproken Rang (MRR) erreicht, wobei Verbesserungen von 2,5 % bei WN18RR und 21 % bei OpenBG500 festgestellt wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp