JaQuAD: Japanese Question Answering Dataset für Machine Reading Comprehension

Fragebeantwortung (Question Answering, QA) ist eine Aufgabe, bei der ein maschinelles System ein gegebenes Dokument sowie eine Frage versteht, um eine Antwort zu finden. Trotz beeindruckender Fortschritte im Bereich der natürlichen Sprachverarbeitung (NLP) bleibt QA weiterhin eine herausfordernde Aufgabe, insbesondere für nicht-englischsprachige Texte aufgrund des Mangels an annotierten Datensätzen. In diesem Paper stellen wir den japanischen Fragebeantwortungs-Datensatz JaQuAD vor, der von Menschen annotiert wurde. JaQuAD umfasst 39.696 extraktive Frage-Antwort-Paare auf Basis von Artikeln aus der japanischen Wikipedia. Wir haben ein Basismodell fine-tuned, das auf dem Testset einen F1-Score von 78,92 % und einen EM-Wert von 63,38 % erreicht. Der Datensatz sowie unsere Experimente sind unter https://github.com/SkelterLabsInc/JaQuAD verfügbar.