Command Palette
Search for a command to run...
Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings
Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings
Peng Wang Xin Xie Xiaohan Wang Ningyu Zhang
Zusammenfassung
Bisherige Ansätze zur Wissensgraphen-Embedding-Konstruktion weisen in der Regel eine Abbildung von Entitäten auf Repräsentationen auf und nutzen Score-Funktionen zur Vorhersage von Zielentitäten auf, leiden jedoch typischerweise unter Schwierigkeiten bei der Ableitung seltener oder neu auftretender, bisher nicht gesehener Entitäten. In diesem Artikel stellen wir kNN-KGE vor, einen neuen Ansatz zur Wissensgraphen-Embedding-Konstruktion, der auf vortrainierten Sprachmodellen basiert und die Entitätsverteilung durch lineare Interpolation mit k-nächsten Nachbarn erweitert. Die nächsten Nachbarn werden basierend auf der Distanz im Entitäts-Embedding-Raum aus dem Wissensbestand berechnet. Unser Ansatz ermöglicht es, seltene oder neu auftretende Entitäten explizit zu speichern, anstatt sie implizit in den Modellparametern zu verankern. Experimentelle Ergebnisse zeigen, dass unser Ansatz die Leistung bei induktiver und transduktiver Link-Vorhersage verbessert und insbesondere in ressourcenarmen Szenarien – bei nur wenigen Tripeln – eine bessere Performance erzielt, was aufgrund der expliziten Speicherung möglicherweise leichter durchführbar ist. Der Quellcode ist unter https://github.com/zjunlp/KNN-KG verfügbar.