Self-Attention präsentiert niederdimensionale Wissensgraphen-Embeddings für die Link-Vorhersage

Einige Modelle haben versucht, das Problem der Link-Vorhersage – auch bekannt als Wissensgraph-Vervollständigung – anzugehen, indem sie Wissensgraphen in vergleichsweise niedrige Dimensionen einbetten. Allerdings werden die derzeitigen State-of-the-Art-Ergebnisse mit einer erheblichen Erhöhung der Embedding-Dimensionierung erzielt, was bei großen Wissensbasen Skalierbarkeitsprobleme verursacht. Transformers wurden kürzlich erfolgreich als leistungsfähige Encoder für Wissensgraphen eingesetzt, doch verfügbare Modelle weisen weiterhin Skalierbarkeitsprobleme auf. Um diese Einschränkung zu überwinden, stellen wir ein auf Transformers basierendes Modell vor, das expressive, niedrigdimensionale Embeddings ermöglicht. Wir nutzen eine große Anzahl von Self-Attention-Köpfen als Schlüssel, um abfragetypabhängige Projektionen anzuwenden, um die wechselseitige Information zwischen Entitäten und Relationen zu erfassen. Empirische Ergebnisse auf den Standard-Benchmark-Datenmengen WN18RR und FB15k-237 zur Link-Vorhersage zeigen, dass unser Modell eine vergleichbare Leistung mit den derzeitigen State-of-the-Art-Modellen erzielt. Insbesondere erzielen wir diese vielversprechenden Ergebnisse bei einer durchschnittlichen Reduktion der Embedding-Dimensionierung um 66,9 % im Vergleich zu den fünf besten jüngsten State-of-the-Art-Modellen.