Es gibt keinen großen Bruder und auch keinen kleinen Bruder: Wissensinjektion in Sprachmodellen zur Link-Vorhersage und Fragebeantwortung

Die Integration von Wissensgraphen mit Deep Learning ist ein dynamisch wachsender Bereich, der die Leistung verschiedener Aufgaben im Bereich des Natural Language Processing (NLP) erheblich verbessert. In diesem Paper konzentrieren wir uns auf die Wissensverstärkung bei der Link-Prädiktion und der Fragebeantwortung mithilfe von Sprachmodellen, insbesondere T5 und BLOOM, in drei Domänen: Luftfahrt, Film und Web. In diesem Kontext integrieren wir Wissensinhalte in große und kleine Sprachmodelle und untersuchen deren Leistung. Dabei stellen wir fest, dass die Ergebnisse vergleichbar sind. Für die Link-Prädiktion auf dem Aviation Knowledge Graph erreichen sowohl T5-small, T5-base, T5-large als auch BLOOM einen Hits@1-Score von 0,2. Mittels templatebasierter Skripte generieren wir eine Sammlung von 1 Million synthetischer Fakten-QA-Paare im Bereich Luftfahrt auf Basis von Berichten der National Transportation Safety Board (NTSB). Auf unseren konservativ ausgewählten QA-Paaren erzielen die drei T5-Modelle einen Hits@1-Score von 0,7. Unsere Ergebnisse validieren wir mittels Paarvergleichstest (paired Student-t-Test) sowie mit Cohen’s Kappa-Werten. Bei der Link-Prädiktion im Aviation Knowledge Graph mit T5-small und T5-large erreichen wir einen Cohen’s Kappa-Wert von 0,76, was auf eine erhebliche Übereinstimmung zwischen den Modellen hindeutet. Daraus schließen wir, dass kleine Sprachmodelle bei Wissensverstärkung eine vergleichbare Leistung wie große Sprachmodelle erbringen.