PERT : Pré-entraînement de BERT avec un modèle de langage permuté

Les Modèles de Langue Pré-entraînés (PLMs) sont largement utilisés dans diverses tâches de traitement du langage naturel (NLP), grâce à leurs représentations textuelles puissantes formées sur des corpus de grande échelle. Dans cet article, nous proposons un nouveau modèle de langue pré-entraîné appelé PERT pour la compréhension du langage naturel (NLU). PERT est un modèle d'auto-encodage (comme BERT) formé avec un Modèle de Langue Permuté (PerLM). La formulation du PerLM proposé est simple. Nous permutons une proportion du texte d'entrée, et l'objectif d'entraînement est de prédire la position du jeton original. De plus, nous appliquons également le masquage complet des mots et le masquage N-gram pour améliorer les performances de PERT. Nous avons mené des expérimentations approfondies sur les基准数据集 (benchmarks) de NLU en chinois et en anglais. Les résultats expérimentaux montrent que PERT peut apporter des améliorations par rapport à diverses lignes de base comparables sur certaines tâches, tandis que cela n'est pas le cas pour d'autres. Ces résultats suggèrent qu'il est possible de développer des tâches d'entraînement préalable plus diversifiées au lieu de variantes de modèles de langage masqués. Plusieurs études quantitatives ont été réalisées pour mieux comprendre PERT, ce qui pourrait aider à concevoir des PLMs futurs. Les ressources sont disponibles : https://github.com/ymcui/PERT注：在翻译“基准数据集”时，我使用了“benchmarks”，这是科技领域中常用的英文术语，通常在法语文献中也会直接使用。如果需要更具体的法语表达，可以考虑使用“jeux d'évaluation”或“jeux de référence”。