Explizite Nutzung von Allgemeinwissen in der maschinellen Textverständnis

Um die Lücke zwischen Maschinellen Leseverständnis-Modellen (Machine Reading Comprehension, MRC) und Menschen zu schließen, die sich vor allem in der Datenhungrigkeit und der Robustheit gegenüber Rauschen zeigt, untersuchen wir in dieser Arbeit, wie man die neuronalen Netze von MRC-Modellen mit dem allgemeinen Wissen von Menschen integrieren kann. Einerseits schlagen wir eine Methode zur Datenanreicherung vor, die WordNet verwendet, um semantische Beziehungen zwischen Wörtern als allgemeines Wissen aus jedem gegebenen Text-Frage-Paar zu extrahieren. Andererseits präsentieren wir ein end-to-end MRC-Modell namens Knowledge Aided Reader (KAR), das dieses extrahierte allgemeine Wissen explizit in seine Aufmerksamkeitsmechanismen einbezieht. Basierend auf der Methode zur Datenanreicherung ist KAR in seiner Leistungsfähigkeit vergleichbar mit den besten aktuellen MRC-Modellen und erweist sich als deutlich robuster gegenüber Rauschen als diese. Wenn nur ein Teil (20%-80%) der Trainingsbeispiele verfügbar ist, übertrifft KAR die besten aktuellen MRC-Modelle erheblich und bleibt immer noch vernünftig robust gegenüber Rauschen.