Réexamen des modèles pré-entraînés pour le traitement automatique de la langue chinoise

Les représentations bidirectionnelles des encodeurs issues des Transformers (BERT) ont montré d'importants progrès dans diverses tâches de traitement du langage naturel (NLP), et plusieurs variantes ont été proposées pour améliorer encore davantage les performances des modèles de langage pré-entraînés. Dans cet article, nous nous intéressons à la réévaluation des modèles de langage pré-entraînés chinois afin d'examiner leur efficacité dans une langue non anglaise et de mettre à disposition une série de modèles de langage pré-entraînés chinois à la communauté. Nous proposons également un modèle simple mais efficace appelé MacBERT, qui apporte plusieurs améliorations à RoBERTa, en particulier en ce qui concerne la stratégie de masquage qui utilise le masquage linguistique bidirectionnel (MLM) comme correction (Mac). Nous avons mené des expériences approfondies sur huit tâches de NLP chinoises pour réévaluer les modèles de langage pré-entraînés existants ainsi que le MacBERT proposé. Les résultats expérimentaux montrent que MacBERT peut atteindre des performances parmi les meilleures sur de nombreuses tâches de NLP, et nous présentons également une analyse détaillée avec plusieurs observations susceptibles d'aider les recherches futures. Ressources disponibles : https://github.com/ymcui/MacBERT