Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings

Bisherige Ansätze zur Wissensgraphen-Embedding-Konstruktion weisen in der Regel eine Abbildung von Entitäten auf Repräsentationen auf und nutzen Score-Funktionen zur Vorhersage von Zielentitäten auf, leiden jedoch typischerweise unter Schwierigkeiten bei der Ableitung seltener oder neu auftretender, bisher nicht gesehener Entitäten. In diesem Artikel stellen wir kNN-KGE vor, einen neuen Ansatz zur Wissensgraphen-Embedding-Konstruktion, der auf vortrainierten Sprachmodellen basiert und die Entitätsverteilung durch lineare Interpolation mit k-nächsten Nachbarn erweitert. Die nächsten Nachbarn werden basierend auf der Distanz im Entitäts-Embedding-Raum aus dem Wissensbestand berechnet. Unser Ansatz ermöglicht es, seltene oder neu auftretende Entitäten explizit zu speichern, anstatt sie implizit in den Modellparametern zu verankern. Experimentelle Ergebnisse zeigen, dass unser Ansatz die Leistung bei induktiver und transduktiver Link-Vorhersage verbessert und insbesondere in ressourcenarmen Szenarien – bei nur wenigen Tripeln – eine bessere Performance erzielt, was aufgrund der expliziten Speicherung möglicherweise leichter durchführbar ist. Der Quellcode ist unter https://github.com/zjunlp/KNN-KG verfügbar.