Frustrierend einfaches natürliches Frage-Antwort-Verfahren

Die bestehende Literatur zum Frage-Antwort-Verfahren (Question Answering, QA) konzentriert sich überwiegend auf algorithmische Neuheiten, Datenaugmentation oder zunehmend größere vortrainierte Sprachmodelle wie XLNet und RoBERTa. Zudem verfügen viele Systeme, die in den QA-Ranglisten aufgeführt sind, über keine entsprechenden Forschungsdokumentationen, was die reale Reproduzierbarkeit ihrer Experimente erschwert. In diesem Paper skizzieren wir jene algorithmischen Komponenten, wie beispielsweise Attention-over-Attention, in Kombination mit Datenaugmentation und Ensembling-Strategien, die sich als besonders effektiv für die Erzielung von state-of-the-art-Ergebnissen auf Benchmark-Datensätzen wie SQuAD erwiesen haben – sogar mit übermenschlicher Leistung. Im Gegensatz zu diesen vorherigen Ergebnissen stellen wir bei der Evaluation auf dem kürzlich vorgeschlagenen Natural Questions-Benchmark-Datensatz fest, dass ein äußerst einfacher Ansatz basierend auf Transfer-Learning von BERT das zuvor beste System, das auf 4 Millionen zusätzlichen Beispielen trainiert wurde, um 1,9 F1-Punkte schlägt. Die Hinzufügung von Ensembling-Strategien steigert diese Leistung zudem um weitere 2,3 F1-Punkte.