L'objectif de ce travail est d'entraîner des modèles performants pour la reconnaissance de la parole visuelle sans nécessiter de données étiquetées par des humains. Nous y parvenons en effectuant une distillation à partir d'un modèle de reconnaissance automatique de la parole (ASR) entraîné sur un grand corpus audio uniquement. Nous utilisons une méthode de distillation intermodale qui combine la classification temporelle connexionniste (CTC) avec une perte d'entropie croisée par frame. Nos contributions sont quadruples : (i) nous montrons qu'il n'est pas nécessaire de disposer de transcriptions de vérité terrain pour entraîner un système de lecture des lèvres ; (ii) nous démontrons comment des quantités arbitraires de données vidéo non étiquetées peuvent être exploitées pour améliorer les performances ; (iii) nous illustrons que la distillation accélère considérablement le processus d'entraînement ; et (iv) nous obtenons des résultats de pointe sur les défis des jeux de données LRS2 et LRS3, en n'utilisant que des données disponibles publiquement.