HyperAIHyperAI

Command Palette

Search for a command to run...

BoolQ: Die überraschende Schwierigkeit natürlicher Ja/Nein-Fragen erforschen

Christopher Clark Kenton Lee Ming-Wei Chang Tom Kwiatkowski Michael Collins Kristina Toutanova

Zusammenfassung

In dieser Arbeit untersuchen wir natürliche Ja/Nein-Fragen – das bedeutet, dass sie in unangeregten und uneingeschränkten Kontexten erzeugt werden. Wir erstellen einen Leseverständnisdatensatz, BoolQ, mit solchen Fragen und zeigen, dass sie überraschend anspruchsvoll sind. Sie befragen oft nach komplexen, nicht faktoidischen Informationen und erfordern schwere Schlussfolgerungen ähnlicher Art wie die bei der Implikation. Wir untersuchen auch die Effektivität verschiedener Transfer-Lern-Methoden als Baseline. Wir stellen fest, dass der Transfer von Implikationsdaten effektiver ist als der von Paraphrasierungs- oder extraktiven QA-Daten (Frag-Antwort-Daten), und dass er überraschenderweise sogar dann sehr vorteilhaft bleibt, wenn man von massiven vorab trainierten Sprachmodellen wie BERT ausgeht. Unsere beste Methode trainiert BERT auf MultiNLI und schult es anschließend nochmals auf unserem Trainingsdatensatz. Sie erreicht eine Genauigkeit von 80,4 % im Vergleich zu 90 % der menschlichen Annotatoren (und 62 % einer Mehrheits-Baseline), was einen beträchtlichen Spielraum für zukünftige Forschung lässt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
BoolQ: Die überraschende Schwierigkeit natürlicher Ja/Nein-Fragen erforschen | Paper | HyperAI