Ein BERT-Basismodell für die Natural Questions

Diese technische Notiz beschreibt eine neue Baseline für die Natural Questions. Unser Modell basiert auf BERT und verringert den Abstand zwischen den im Originaldatensatz-Paper gemeldeten Modell-F1-Werten und der oberen Grenze des menschlichen Leistungsvermögens um 30 % (relativ) bei der langen Antwort und um 50 % (relativ) bei der kurzen Antwort. Diese Baseline wurde dem offiziellen NQ-Leaderboard unter ai.google.com/research/NaturalQuestions eingereicht. Der Quellcode, die vorverarbeiteten Daten und das vortrainierte Modell sind unter https://github.com/google-research/language/tree/master/language/question_answering/bert_joint verfügbar.