Ein Retrieve-and-Read-Framework für die Link-Vorhersage in Wissensgraphen

Die Vorhersage von Verbindungen in Wissensgraphen (Knowledge Graph, KG) zielt darauf ab, neue Fakten auf Basis bestehender Fakten im KG abzuleiten. Neuere Studien haben gezeigt, dass die Verwendung des Graphennachbarschaftsraums eines Knotens mittels Graph Neural Networks (GNNs) im Vergleich zur alleinigen Nutzung der Abfrageinformationen wertvollere Erkenntnisse liefert. Traditionelle GNNs für die KG-Verbindungsvorhersage folgen dem herkömmlichen Nachrichtenübertragungsparadigma über den gesamten KG, was zu überflüssiger Berechnung, Überglättung der Knotendarstellungen und begrenzter Ausdruckskraft führt. Auf großer Skala wird die Aggregation nützlicher Informationen aus dem gesamten KG für die Inferenz rechnerisch kostspielig. Um die Einschränkungen bestehender Frameworks zur KG-Verbindungsvorhersage zu überwinden, schlagen wir einen neuen Retrieve-and-Read-Framework vor, der zunächst einen relevanten Teilgraphen als Kontext für die Abfrage abruft und anschließend gemeinsam über diesen Kontext und die Abfrage mit einem hochkapazitiven Leser.reasoniert. Als exemplarische Implementierung dieses neuen Frameworks präsentieren wir ein neuartiges, auf Transformers basierendes GNN als Leser, das eine graphbasierte Aufmerksamkeitsstruktur sowie Kreuzaufmerksamkeit zwischen Abfrage und Kontext zur tiefen Fusion integriert. Dieser einfache, jedoch wirksame Entwurf ermöglicht es dem Modell, sich auf relevante, herausragende Kontextinformationen zu konzentrieren. Empirische Ergebnisse auf zwei Standard-Datensätzen zur KG-Verbindungsvorhersage belegen die wettbewerbsfähige Leistung des vorgeschlagenen Ansatzes. Darüber hinaus ergeben sich aus unserer Analyse wertvolle Erkenntnisse für die Verbesserung der Retriever innerhalb des Frameworks.