Combinaison de réseaux résiduels avec des LSTM pour la lecture labiale

Nous proposons une architecture de deep learning de bout en bout pour la reconnaissance visuelle de la parole au niveau des mots. Le système combine des réseaux de convolution spatio-temporelle, résiduels et bidirectionnels à mémoire à court et long terme (Long Short-Term Memory, LSTM). Nous l'entraînons et l'évaluons sur le benchmark Lipreading In-The-Wild, une base de données exigeante composée de 500 mots cibles, avec des extraits vidéo de 1,28 seconde issus des émissions de la BBC. Le réseau proposé atteint une précision au niveau des mots de 83,0 %, offrant une amélioration absolue de 6,8 % par rapport à l'état actuel de l'art, sans utiliser d'informations sur les limites des mots lors de l'entraînement ou du test.