HyperAIHyperAI

Command Palette

Search for a command to run...

Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings

Peng Wang Xin Xie Xiaohan Wang Ningyu Zhang

Zusammenfassung

Bisherige Ansätze zur Wissensgraphen-Embedding-Konstruktion weisen in der Regel eine Abbildung von Entitäten auf Repräsentationen auf und nutzen Score-Funktionen zur Vorhersage von Zielentitäten auf, leiden jedoch typischerweise unter Schwierigkeiten bei der Ableitung seltener oder neu auftretender, bisher nicht gesehener Entitäten. In diesem Artikel stellen wir kNN-KGE vor, einen neuen Ansatz zur Wissensgraphen-Embedding-Konstruktion, der auf vortrainierten Sprachmodellen basiert und die Entitätsverteilung durch lineare Interpolation mit k-nächsten Nachbarn erweitert. Die nächsten Nachbarn werden basierend auf der Distanz im Entitäts-Embedding-Raum aus dem Wissensbestand berechnet. Unser Ansatz ermöglicht es, seltene oder neu auftretende Entitäten explizit zu speichern, anstatt sie implizit in den Modellparametern zu verankern. Experimentelle Ergebnisse zeigen, dass unser Ansatz die Leistung bei induktiver und transduktiver Link-Vorhersage verbessert und insbesondere in ressourcenarmen Szenarien – bei nur wenigen Tripeln – eine bessere Performance erzielt, was aufgrund der expliziten Speicherung möglicherweise leichter durchführbar ist. Der Quellcode ist unter https://github.com/zjunlp/KNN-KG verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp