MoCoKGC: Momentum-Contrast-Entitätskodierung für die Wissensgraphen-Vervollständigung

In den letzten Jahren haben zahlreiche Studien darauf abgezielt, die Fähigkeiten vortrainierter Sprachmodelle (Pretrained Language Models, PLMs) für Aufgaben der Wissensgraphen-Vervollständigung (Knowledge Graph Completion, KGC) zu verbessern, indem sie strukturelle Informationen aus Wissensgraphen integrieren. Allerdings haben bestehende Ansätze nicht effektiv die strukturellen Eigenschaften von Wissensgraphen mit den textuellen Beschreibungen von Entitäten kombiniert, um robuste Entitätsrepräsentationen zu generieren. Um dieses Problem anzugehen, schlägt dieser Artikel MoCoKGC (Momentum Contrast Entity Encoding for Knowledge Graph Completion) vor, das drei Haupt-Encoder integriert: den Entität-Relation-Encoder, den Entitäts-Encoder und den Momentum-Entitäts-Encoder. Die Momentum-contrastive Lernmethode liefert nicht nur eine größere Anzahl an negativen Beispielen, sondern ermöglicht auch eine schrittweise Aktualisierung der Entitätsrepräsentationen. Dadurch können die generierten Entitätsrepräsentationen erneut in den Encoder zurückgeführt werden, um die strukturellen Informationen des Graphen einzubeziehen. Zudem stärkt MoCoKGC die inferenziellen Fähigkeiten des Entität-Relation-Encoders durch tiefgreifende Prompting-Techniken für Relationen. Auf dem Standardevaluationsmaßstab Mean Reciprocal Rank (MRR) zeigt das MoCoKGC-Modell eine überlegene Leistung und erreicht eine Verbesserung um 7,1 % auf dem WN18RR-Datensatz sowie eine Verbesserung um 11 % auf dem Wikidata5M-Datensatz, während es zudem das derzeit beste Modell auf dem FB15k-237-Datensatz übertrifft. Durch eine Reihe von Experimenten untersucht dieser Artikel ausführlich die Rolle und den Beitrag jedes Modul- und Parameterkomponenten.