KELM: Knowledge Enhanced Pre-Trained Language Representations mit Message Passing auf hierarchischen relationalen Graphen

Die Integration faktischer Wissensinhalte in vortrainierte Sprachmodelle (PLM), wie BERT, ist in jüngsten NLP-Studien ein aufkommender Trend. Allerdings kombinieren die meisten bestehenden Ansätze das Modul zur Integration externen Wissens mit einer modifizierten Vortrainingsverlustfunktion und re-implementieren den Vortrainingsprozess auf großen Korpora. Die erneute Vortrainierung dieser Modelle ist in der Regel ressourcenintensiv und schwer an einen anderen Bereich mit einer unterschiedlichen Wissensgraphen (KG) anzupassen. Zudem können diese Arbeiten entweder das Wissenskontext-Embedding nicht dynamisch an den textuellen Kontext anpassen oder leiden unter dem Problem der Wissensambiguität. In diesem Artikel stellen wir einen neuartigen, auf dem Fine-Tuning-Prozess basierenden, wissensbewussten Sprachmodellrahmen vor, der PLM mit einem einheitlichen, wissensverstärkten Textgraphen ausstattet, der sowohl Text- als auch mehrrelationale Teilgraphen aus dem KG enthält. Wir entwerfen einen hierarchischen, auf relationalen Graphen basierenden Nachrichtenaustauschmechanismus, der es ermöglicht, dass die Repräsentationen des eingefügten KG und des Textes sich gegenseitig aktualisieren und dynamisch mehrdeutige, durch denselben Text erwähnte Entitäten auswählen können. Unsere empirischen Ergebnisse zeigen, dass unser Modell weltweites Wissen aus KGs effizient in bestehende Sprachmodelle wie BERT integrieren kann und im Vergleich zu anderen wissensverstärkten Modellen eine signifikante Verbesserung bei der maschinellen Leseverständnisaufgabe (MRC) erzielt.