Ce document présente un nouveau modèle de langage pré-entraîné unifié (UniLM) qui peut être affiné pour des tâches de compréhension et de génération du langage naturel. Le modèle est pré-entraîné en utilisant trois types de tâches de modélisation linguistique : unidirectionnelle, bidirectionnelle et prédiction séquence à séquence. L'unification du modèle est réalisée grâce à l'emploi d'un réseau Transformer partagé et à l'utilisation de masques d'auto-attention spécifiques pour contrôler le contexte sur lequel repose la prédiction. UniLM obtient des résultats comparables à ceux de BERT sur le banc d'essai GLUE, ainsi que sur les tâches de réponse aux questions SQuAD 2.0 et CoQA. De plus, UniLM atteint de nouveaux résultats d'état de l'art sur cinq jeux de données de génération de langage naturel, notamment en améliorant le ROUGE-L du résumé abstrait CNN/DailyMail à 40,51 (amélioration absolue de 2,04), le ROUGE-L du résumé abstrait Gigaword à 35,75 (amélioration absolue de 0,86), le score F1 de la réponse générative aux questions CoQA à 82,5 (amélioration absolue de 37,1), le BLEU-4 de la génération des questions SQuAD à 22,12 (amélioration absolue de 3,75) et le NIST-4 de la génération des réponses dialoguées basées sur des documents DSTC7 à 2,67 (la performance humaine étant de 2,65). Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/microsoft/unilm.