Multi-Passage BERT: Ein global normiertes BERT-Modell für die Beantwortung offener Fragen

Das BERT-Modell wurde erfolgreich auf offenen Frage-Antwort-Aufgaben (open-domain QA tasks) angewendet. Allerdings trainieren frühere Arbeiten das BERT-Modell, indem sie Passagen, die der gleichen Frage entsprechen, als unabhängige Trainingsinstanzen betrachten, was zu nicht vergleichbaren Scores für Antworten aus verschiedenen Passagen führen kann. Um dieses Problem zu lösen, schlagen wir ein mehrfach-Passagen-BERT-Modell vor, das die Antwort-Scores global über alle Passagen derselben Frage normalisiert. Diese Änderung ermöglicht es unserem QA-Modell, bessere Antworten durch die Nutzung von mehr Passagen zu finden. Darüber hinaus stellen wir fest, dass das Aufteilen von Artikeln in 100 Wörter lange Passagen durch ein Schiebefenster (sliding window) die Leistung um 4 % verbessert. Durch den Einsatz eines Passage-Rankers zur Auswahl hochwertiger Passagen gewinnt das mehrfach-Passagen-BERT zusätzliche 2 %. Experimente anhand vierer Standardbenchmarks zeigten, dass unser mehrfach-Passagen-BERT auf allen Benchmarks allen aktuellen Modellen überlegen ist. Insbesondere beim OpenSQuAD-Datensatz erreicht unser Modell eine Verbesserung von 21,4 % EM und 21,5 % $F_1$ im Vergleich zu allen nicht-BERT-basierten Modellen sowie eine Steigerung von 5,8 % EM und 6,5 % $F_1$ gegenüber BERT-basierten Modellen.