Lesen + Verifizieren: Maschinelles Leseverständnis mit nicht beantwortbaren Fragen

Maschinelles Leseverstehen mit unbeantwortbaren Fragen zielt darauf ab, von der Beantwortung abzusehen, wenn keine Antwort abgeleitet werden kann. Neben der Extraktion von Antworten prognostizieren frühere Arbeiten in der Regel eine zusätzliche „keine-Antwort“-Wahrscheinlichkeit, um unbeantwortbare Fälle zu erkennen. Dennoch versagen sie darin, die Beantwortbarkeit der Frage durch die Überprüfung der Legitimität der vorhergesagten Antwort zu validieren. Um dieses Problem anzugehen, schlagen wir ein neues System vor, das liest und dann verifiziert (read-then-verify). Dieses System nutzt nicht nur einen neuronalen Leser zur Extraktion von Kandidaten-Antworten und zur Erzeugung von „keine-Antwort“-Wahrscheinlichkeiten, sondern setzt auch einen Antwortverifizierer ein, um zu entscheiden, ob die vorhergesagte Antwort aus den Eingabeausschnitten folgt. Darüber hinaus führen wir zwei Nebenverlustfunktionen ein, um dem Leser bei der besseren Handhabung sowohl der Antwortextraktion als auch des „keine-Antwort“-Erkennens zu helfen, und untersuchen drei verschiedene Architekturen für den Antwortverifizierer. Unsere Experimente mit dem SQuAD 2.0-Datensatz zeigen, dass unser System auf dem Testset einen F1-Score von 74,2 erreicht und damit zum Zeitpunkt der Einreichung (28. August 2018) den Stand der Technik repräsentiert.