Breitkontextuelles Sprachmodellierung als Leseverständnis

Der Fortschritt im Bereich der Textverarbeitung wurde durch große Datensätze getrieben, die bestimmte Fähigkeiten testen, wie z.B. jüngste Datensätze für die Leseverständniskompetenz (Hermann et al., 2015). In diesem Beitrag konzentrieren wir uns auf den LAMBADA-Datensatz (Paperno et al., 2016), eine Wortschätz-Aufgabe, die einen umfassenderen Kontext als den unmittelbaren Satz erfordert. Wir betrachten LAMBADA als ein Problem des Leseverständnisses und wenden Verständnismodelle basierend auf neuronalen Netzen an. Obwohl diese Modelle darauf beschränkt sind, ein Wort aus dem Kontext auszuwählen, verbessern sie den Stand der Technik bei LAMBADA von 7,3 % auf 49 %. Eine Analyse von 100 Instanzen zeigt, dass neuronale Netzwerke gut abschneiden, wenn es darum geht, einen Namen aus dem Kontext basierend auf dialogischen oder diskursiven Hinweisen zu wählen, aber Schwierigkeiten haben, wenn Coreference-Resolution (Koreferenzauflösung) oder externe Kenntnisse erforderlich sind.