Cet article étudie la manière d’intégrer efficacement un modèle pré-entraîné de langage masqué (MLM), tel que BERT, dans un modèle encodeur-décodeur (EncDec) pour la correction d’erreurs grammaticales (GEC). La réponse à cette question n’est pas aussi directe qu’on pourrait le croire, car les méthodes courantes précédemment utilisées pour intégrer un MLM dans un modèle EncDec présentent des inconvénients potentiels lorsqu’elles sont appliquées au GEC. Par exemple, la distribution des entrées d’un modèle de GEC peut différer considérablement (erronée, maladroite, etc.) de celle des corpus utilisés pour l’entraînement préalable des MLMs ; or, ce problème n’est pas pris en compte dans les approches antérieures. Nos expériences montrent que la méthode proposée — consistant à d’abord fine-tuner un MLM à l’aide d’un corpus de GEC donné, puis à utiliser la sortie de ce MLM fine-tuné comme caractéristiques supplémentaires dans le modèle de GEC — permet de maximiser les bénéfices tirés du MLM. Le modèle performant atteint des résultats de pointe sur les benchmarks BEA-2019 et CoNLL-2014. Le code est disponible publiquement à l’adresse suivante : https://github.com/kanekomasahiro/bert-gec.