Wissensverstärkte kontextuelle Wortrepräsentationen

Kontextuelle Wortrepräsentationen, die typischerweise auf unstrukturiertem, nicht annotiertem Text trainiert werden, enthalten keine explizite Verankerung an reale Weltentitäten und sind oft nicht in der Lage, Fakten über diese Entitäten zu speichern. Wir schlagen eine allgemeine Methode vor, mehrere Wissensbasen (KBs) in großskalige Modelle einzubetten, um deren Repräsentationen mit strukturiertem, von Menschen kuratiertem Wissen zu verbessern. Für jede Wissensbasis verwenden wir zunächst einen integrierten Entitätslinker, um relevante Entitätsrepräsentationen abzurufen, und aktualisieren anschließend die kontextuellen Wortrepräsentationen über eine Form von Wort-zu-Entität-Aufmerksamkeit. Im Gegensatz zu früheren Ansätzen werden Entitätslinker und das selbstüberwachte Sprachmodellierungsziel end-to-end in einem Multitask-Setting gemeinsam trainiert, wobei eine geringe Menge an Entitätslinking-Supervision mit einer großen Menge an Rohtext kombiniert wird. Nach der Integration von WordNet und einem Teil von Wikipedia in BERT zeigt das erweiterte Modell, KnowBert, eine verbesserte Perplexität, eine höhere Fähigkeit, Fakten im Rahmen einer Untersuchungsaufgabe zu rekonstruieren, sowie eine verbesserte Leistung bei nachgeschalteten Aufgaben wie Beziehungsextraktion, Entitätsklassifizierung und Wortbedeutungsdisambiguierung. Die Laufzeit von KnowBert ist vergleichbar mit der von BERT und skaliert auf große Wissensbasen.