Bien que les modèles de diffusion se distinguent par leur capacité à générer des images de haute qualité, les travaux antérieurs ont révélé un écart significatif de performance entre les modèles de diffusion et les méthodes autoregressives (AR) en modélisation du langage. Dans ce travail, nous montrons que la diffusion discrète masquée simple est plus performante qu’on ne le pensait auparavant. Nous appliquons une recette d’entraînement efficace qui améliore les performances des modèles de diffusion masquée, et dérivons un objectif simplifié, Rao-Blackwellisé, qui entraîne des gains supplémentaires. Notre objectif présente une forme simple — il s’agit d’un mélange de pertes classiques de modélisation du langage masqué — et peut être utilisé pour entraîner des modèles langagiers à encodeur unique, compatibles avec des échantillonneurs efficaces, y compris ceux capables de générer des textes de longueur arbitraire de manière semi-autoregressive, comme un modèle langagier traditionnel. Sur des benchmarks de modélisation du langage, une gamme de modèles de diffusion masquée entraînés avec des pratiques d’ingénierie modernes atteint un nouveau record de performance parmi les modèles de diffusion, et se rapproche de la perplexité des méthodes autoregressives. Nous mettons notre code à disposition à l’adresse suivante : https://github.com/kuleshov-group/mdlm