Le modèle pré-entraîné basé sur l'architecture des transformateurs, BERT, a permis d'améliorer les performances de pointe sur de nombreuses tâches de traitement du langage naturel (NLP). En utilisant la même architecture et les mêmes paramètres, nous avons développé et évalué un modèle BERT monolingue néerlandais, baptisé BERTje. Contrairement au modèle multilingue BERT, qui inclut le néerlandais mais est uniquement entraîné sur du texte provenant de Wikipedia, BERTje repose sur un ensemble de données vaste et diversifié de 2,4 milliards de tokens. BERTje surpasser de manière constante le modèle multilingue de taille équivalente sur diverses tâches NLP en aval (identification de part-of-speech, reconnaissance d'entités nommées, étiquetage des rôles sémantiques et analyse de sentiment). Notre modèle pré-entraîné néerlandais BERTje est disponible à l'adresse suivante : https://github.com/wietsedv/bertje.