BoolQ: Die überraschende Schwierigkeit natürlicher Ja/Nein-Fragen erforschen

In dieser Arbeit untersuchen wir natürliche Ja/Nein-Fragen – das bedeutet, dass sie in unangeregten und uneingeschränkten Kontexten erzeugt werden. Wir erstellen einen Leseverständnisdatensatz, BoolQ, mit solchen Fragen und zeigen, dass sie überraschend anspruchsvoll sind. Sie befragen oft nach komplexen, nicht faktoidischen Informationen und erfordern schwere Schlussfolgerungen ähnlicher Art wie die bei der Implikation. Wir untersuchen auch die Effektivität verschiedener Transfer-Lern-Methoden als Baseline. Wir stellen fest, dass der Transfer von Implikationsdaten effektiver ist als der von Paraphrasierungs- oder extraktiven QA-Daten (Frag-Antwort-Daten), und dass er überraschenderweise sogar dann sehr vorteilhaft bleibt, wenn man von massiven vorab trainierten Sprachmodellen wie BERT ausgeht. Unsere beste Methode trainiert BERT auf MultiNLI und schult es anschließend nochmals auf unserem Trainingsdatensatz. Sie erreicht eine Genauigkeit von 80,4 % im Vergleich zu 90 % der menschlichen Annotatoren (und 62 % einer Mehrheits-Baseline), was einen beträchtlichen Spielraum für zukünftige Forschung lässt.