Le modèle de langage pré-entraîné (PLM) est devenu un modèle fondamental représentatif dans le domaine du traitement automatique des langues naturelles. La plupart des PLMs sont entraînés avec des tâches de pré-entraînement indépendantes du contexte linguistique sur la forme superficielle du texte, telles que le modèle de langage masqué (MLM). Pour enrichir davantage les PLMs avec des caractéristiques linguistiques plus riches, cet article vise à proposer une méthode simple mais efficace pour apprendre ces caractéristiques aux modèles de langage pré-entraînés. Nous présentons LERT, un modèle de langage pré-entraîné qui est formé sur trois types de caractéristiques linguistiques en complément de la tâche de pré-entraînement MLM originale, en utilisant une stratégie de pré-entraînement informée par la linguistique (LIP). Nous avons mené des expériences approfondies sur dix tâches de compréhension du langage naturel chinois, et les résultats expérimentaux montrent que LERT apporte des améliorations significatives par rapport à diverses lignes de base comparables. De plus, nous avons également réalisé des expériences analytiques sous différents aspects linguistiques, et les résultats démontrent que la conception de LERT est valide et efficace. Les ressources sont disponibles à l'adresse suivante : https://github.com/ymcui/LERT