La correction des erreurs grammaticales peut être considérée comme une tâche de séquence à séquence à faibles ressources, en raison de la limitation des corpus parallèles publiquement disponibles. Pour relever ce défi, nous générons d'abord des versions erronées de grands corpus non annotés en utilisant une fonction de bruitage réaliste. Les corpus parallèles ainsi obtenus sont ensuite utilisés pour pré-entraîner des modèles Transformer. Ensuite, en appliquant successivement l'apprentissage par transfert, nous adaptons ces modèles au domaine et au style de l'ensemble de test. Associé à un correcteur orthographique neuronal sensible au contexte, notre système obtient des résultats compétitifs dans les deux pistes à ressources limitées et faibles ressources du défi commun BEA 2019 organisé par l'ACL. Nous mettons à disposition tout notre code et nos matériaux pour assurer la reproductibilité des résultats.