Untersuchung von Text-Transformern in der AAAI 2021 Gemeinsamen Aufgabe: Erkennung von Falschinformationen über COVID-19 auf Englisch

In diesem Paper beschreiben wir unser System für die gemeinsame Aufgabe der AAAI 2021 zum Erkennen von Falschinformationen über COVID-19 im Englischen, bei der wir mit einem gewichteten F1-Score von 0,9859 auf dem Testset den dritten Platz erreichten. Konkret stellen wir eine Ensembles-Methode verschiedener vortrainierter Sprachmodelle wie BERT, Roberta und Ernie vor, die mit unterschiedlichen Trainingsstrategien – einschließlich Warm-up, Lernraten-Scheduling und k-Fold-Cross-Validation – kombiniert wurden. Zudem führen wir eine umfassende Analyse der Beispiele durch, die nicht korrekt klassifiziert wurden. Der Quellcode ist unter folgender URL verfügbar: https://github.com/archersama/3rd-solution-COVID19-Fake-News-Detection-in-English.