Kontextualisierte Wortrepräsentationen für die Lektüreverstehensfähigkeit

Das Lesen eines Dokuments und das Extrahieren einer Antwort auf eine Frage zu dessen Inhalt hat in letzter Zeit erhebliches Interesse geweckt. Während die meisten Arbeiten sich auf die Interaktion zwischen Frage und Dokument konzentriert haben, bewerten wir in dieser Arbeit die Bedeutung des Kontextes, wenn Frage und Dokument unabhängig voneinander verarbeitet werden. Wir verwenden eine standardisierte neuronale Architektur für diese Aufgabe und zeigen, dass durch die Bereitstellung reichhaltiger kontextualisierter Wortrepräsentationen aus einem großen vortrainierten Sprachmodell sowie durch das Erlauben für das Modell, zwischen kontextabhängigen und kontextunabhängigen Wortrepräsentationen zu wählen, wir dramatische Verbesserungen erzielen können und eine Leistung erreichen, die mit dem Stand der Technik vergleichbar ist, auf dem wettbewerbsintensiven SQuAD-Datensatz.