Rückblickender Leser für maschinelles Leseverstehen

Maschinelles Leseverständnis (Machine Reading Comprehension, MRC) ist eine AI-Herausforderung, bei der ein System auf der Grundlage eines gegebenen Textpassages die korrekten Antworten auf Fragen bestimmen muss. MRC-Systeme müssen nicht nur Fragen beantworten, wenn dies möglich ist, sondern auch erkennen, wann keine Antwort aufgrund des gegebenen Passages verfügbar ist, und dann gezielt auf eine Antwort verzichten. Bei MRC-Aufgaben, die unbeantwortbare Fragen beinhalten, ist neben dem Encoder ein entscheidender Verifizierungsmodul – der sogenannte Verifier – besonders erforderlich. Obwohl die neuesten Ansätze im MRC-Modellieren vor allem von gut vortrainierten Sprachmodellen als Encoder-Block profitieren, indem sie sich ausschließlich auf das „Lesen“ konzentrieren, bleibt die Entwicklung effektiver Verifier-Strategien eine zentrale Aufgabe. In dieser Arbeit widmen wir uns der Erforschung verbesserter Verifier-Entwürfe für das MRC-Task mit unbeantwortbaren Fragen. Inspiriert durch die Art und Weise, wie Menschen Leseverständnisfragen lösen, stellen wir einen retrospektiven Leser (Retro-Reader) vor, der zwei Phasen des Lesens und der Verifikation integriert: 1) eine oberflächliche Lektüre, die eine kurze Untersuchung der globalen Interaktionen zwischen Passus und Frage ermöglicht und eine erste Einschätzung liefert; 2) eine intensive Lektüre, die die Antwort verifiziert und die endgültige Vorhersage trifft. Der vorgeschlagene Leser wird an zwei Standard-MRC-Datensätzen, SQuAD2.0 und NewsQA, evaluiert und erreicht dabei neue SOTA-Ergebnisse. Signifikanztests zeigen, dass unser Modell signifikant besser abschneidet als die starken Baselines ELECTRA und ALBERT. Zudem werden eine Reihe von Analysen durchgeführt, um die Wirksamkeit des vorgeschlagenen Lesers zu erklären.