Kosten-effiziente Auswahl von Vortrainingsdaten: Eine Fallstudie zum Vortrainieren von BERT auf sozialen Medien

Neuere Studien zu domänenspezifischen BERT-Modellen zeigen, dass die Effektivität bei nachgelagerten Aufgaben verbessert werden kann, wenn die Modelle auf in-der-Domäne liegenden Daten vortrainiert werden. Häufig wird die für das Vortraining verwendete Datenmenge anhand ihres Themas ausgewählt, z.B. Biologie oder Informatik. Angesichts der Vielfalt der Anwendungen, die Texte aus sozialen Medien verwenden, und deren einzigartiger Sprachvielfalt, vortrainieren wir zwei Modelle jeweils auf Tweets und Forenbeiträgen. Wir demonstrieren empirisch die Effektivität dieser beiden Ressourcen. Darüber hinaus untersuchen wir, wie Ähnlichkeitsmaße zur Auswahl von in-der-Domäne liegenden Vortrainingsdaten verwendet werden können. Unsere vortrainierten Modelle veröffentlichen wir öffentlich unter https://bit.ly/35RpTf0.