Les programmeurs débutants ont souvent du mal avec la syntaxe formelle des langages de programmation. Pour les aider, nous avons conçu un nouveau cadre de correction de langage de programmation adapté à l'apprentissage par renforcement. Ce cadre permet à un agent d'imiter les actions humaines pour la navigation et l'édition de texte. Nous démontrons que l'agent peut être formé par auto-exploration directement à partir de l'entrée brute, c'est-à-dire le texte du programme lui-même, sans aucune connaissance de la syntaxe formelle du langage de programmation. Nous utilisons des démonstrations d'experts pour un dixième des données d'entraînement afin d'accélérer la formation. La technique proposée est évaluée sur 6975 programmes C erronés contenant des erreurs typographiques, écrits par des étudiants lors d'un cours introductif de programmation. Notre technique corrige 14 % de programmes supplémentaires et 29 % de messages d'erreur du compilateur en plus par rapport à ceux corrigés par un outil de pointe, DeepFix, qui utilise une approche de traduction automatique neuronale entièrement supervisée.