Les travaux récents sur les représentations linguistiques intègrent soigneusement des caractéristiques contextualisées dans l'entraînement des modèles linguistiques, ce qui a permis une série de succès notables, notamment dans diverses tâches de compréhension automatique de lecture et d'inférence sémantique. Toutefois, les modèles existants de représentation linguistique, tels qu'ELMo, GPT et BERT, ne exploitent que des caractéristiques contextuelles simples, comme les embeddings de caractères ou de mots. Ils prennent rarement en compte l'intégration d'informations sémantiques structurées, qui pourraient enrichir considérablement la représentation du langage. Afin de renforcer la compréhension du langage naturel, nous proposons d’intégrer des sémantiques contextuelles explicites issues d’un étiquetage pré-entraîné des rôles sémantiques, et introduisons un modèle amélioré de représentation linguistique, appelé Semantics-aware BERT (SemBERT), capable d’absorber explicitement les sémantiques contextuelles à partir d’un noyau BERT. SemBERT préserve la facilité d’utilisation de son prédécesseur BERT grâce à une adaptation légère, sans modifications substantielles spécifiques aux tâches. Contrairement à BERT, SemBERT est conceptuellement aussi simple, mais plus puissant. Il atteint de nouveaux états de l’art ou améliore significativement les résultats sur dix tâches de compréhension de lecture et d’inférence linguistique.