SciBERT: Ein vortrainiertes Sprachmodell für wissenschaftlichen Text

Die Beschaffung von umfangreichen annotierten Daten für NLP-Aufgaben im wissenschaftlichen Bereich ist herausfordernd und kostspielig. Wir veröffentlichen SciBERT, ein auf BERT (Devlin et al., 2018) basierendes vortrainiertes Sprachmodell, um den Mangel an hochwertigen, umfangreichen annotierten wissenschaftlichen Daten zu beheben. SciBERT nutzt die unsupervisierte Vortraining auf einem großen, mehrdomänen-Corpus wissenschaftlicher Publikationen, um die Leistung bei nachgeschalteten wissenschaftlichen NLP-Aufgaben zu verbessern. Wir evaluieren das Modell anhand einer Reihe von Aufgaben, darunter Sequenztagging, Satzklassifizierung und Abhängigkeitsanalyse, mit Datensätzen aus verschiedenen wissenschaftlichen Bereichen. Wir zeigen statistisch signifikante Verbesserungen gegenüber BERT und erreichen neue Stand der Technik-Ergebnisse in mehreren dieser Aufgaben. Der Code und die vortrainierten Modelle sind unter https://github.com/allenai/scibert/ verfügbar.