Exploration des Text-transformers dans la tâche partagée AAAI 2021 : Détection de fausses nouvelles sur le COVID-19 en anglais

Dans cet article, nous décrivons notre système pour la tâche partagée AAAI 2021 sur la détection des fausses nouvelles liées au COVID-19 en anglais, pour laquelle nous avons obtenu la 3e place avec un score F1 pondéré de 0,9859 sur l'ensemble de test. Plus précisément, nous proposons une méthode d'ensemble combinant différents modèles pré-entraînés sur des langues comme BERT, RoBERTa, Ernie, etc., utilisant diverses stratégies d'entraînement incluant le « warm-up », la planification du taux d'apprentissage et la validation croisée k-fold. Nous menons également une analyse approfondie des échantillons mal classés. Le code est disponible à l'adresse suivante : https://github.com/archersama/3rd-solution-COVID19-Fake-News-Detection-in-English.