Die NarrativeQA-Leseverständnis-Herausforderung

Leseverständnis (LV) – im Gegensatz zur Informationsgewinnung – erfordert die Integration von Informationen und das Schließen über Ereignisse, Entitäten und ihre Beziehungen im gesamten Dokument. Die Fähigkeit des Leseverständnisses wird traditionell durch Fragenbeantwortung bei sowohl künstlichen Agenten als auch bei Kindern, die lesen lernen, bewertet. Allerdings sind bestehende LV-Datensätze und -Aufgaben hauptsächlich von Fragen dominiert, die durch die Auswahl von Antworten aufgrund oberflächlicher Informationen (z.B. lokaler Kontextähnlichkeit oder globaler Terminusauftrittshäufigkeit) gelöst werden können; sie testen daher nicht das wesentliche integrative Element des Leseverständnisses. Um Fortschritte in der tiefgründigen Sprachverarbeitung zu fördern, präsentieren wir einen neuen Datensatz und eine Reihe von Aufgaben, bei denen der Leser Fragen zu Geschichten beantworten muss, indem er ganze Bücher oder Drehbücher liest. Diese Aufgaben sind so gestaltet, dass das erfolgreiche Beantworten ihrer Fragen ein Verständnis der zugrundeliegenden Erzählstruktur erfordert, anstatt sich auf flache Mustererkennung oder Wichtigkeit zu stützen. Wir zeigen, dass Menschen die Aufgaben leicht lösen können, während standardmäßige LV-Modelle Schwierigkeiten damit haben. Wir geben eine Analyse des Datensatzes und der Herausforderungen, die er darstellt.