HyperAIHyperAI

Command Palette

Search for a command to run...

MoCoKGC: Momentum-Contrast-Entitätskodierung für die Wissensgraphen-Vervollständigung

YuChu Qin Yanru Zhong Qingyang Li

Zusammenfassung

In den letzten Jahren haben zahlreiche Studien darauf abgezielt, die Fähigkeiten vortrainierter Sprachmodelle (Pretrained Language Models, PLMs) für Aufgaben der Wissensgraphen-Vervollständigung (Knowledge Graph Completion, KGC) zu verbessern, indem sie strukturelle Informationen aus Wissensgraphen integrieren. Allerdings haben bestehende Ansätze nicht effektiv die strukturellen Eigenschaften von Wissensgraphen mit den textuellen Beschreibungen von Entitäten kombiniert, um robuste Entitätsrepräsentationen zu generieren. Um dieses Problem anzugehen, schlägt dieser Artikel MoCoKGC (Momentum Contrast Entity Encoding for Knowledge Graph Completion) vor, das drei Haupt-Encoder integriert: den Entität-Relation-Encoder, den Entitäts-Encoder und den Momentum-Entitäts-Encoder. Die Momentum-contrastive Lernmethode liefert nicht nur eine größere Anzahl an negativen Beispielen, sondern ermöglicht auch eine schrittweise Aktualisierung der Entitätsrepräsentationen. Dadurch können die generierten Entitätsrepräsentationen erneut in den Encoder zurückgeführt werden, um die strukturellen Informationen des Graphen einzubeziehen. Zudem stärkt MoCoKGC die inferenziellen Fähigkeiten des Entität-Relation-Encoders durch tiefgreifende Prompting-Techniken für Relationen. Auf dem Standardevaluationsmaßstab Mean Reciprocal Rank (MRR) zeigt das MoCoKGC-Modell eine überlegene Leistung und erreicht eine Verbesserung um 7,1 % auf dem WN18RR-Datensatz sowie eine Verbesserung um 11 % auf dem Wikidata5M-Datensatz, während es zudem das derzeit beste Modell auf dem FB15k-237-Datensatz übertrifft. Durch eine Reihe von Experimenten untersucht dieser Artikel ausführlich die Rolle und den Beitrag jedes Modul- und Parameterkomponenten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MoCoKGC: Momentum-Contrast-Entitätskodierung für die Wissensgraphen-Vervollständigung | Paper | HyperAI