Réseau multi-indices spatio-temporel pour la reconnaissance continue de la langue des signes

Malgré les récents succès de l’apprentissage profond dans la reconnaissance continue des langues des signes (CSLR), les modèles profonds se concentrent généralement sur les caractéristiques les plus discriminantes, en ignorant d'autres contenus potentiellement non triviaux et informatifs. Cette caractéristique limite fortement leur capacité à apprendre les grammaires visuelles implicites sous-jacentes à la collaboration entre différents indices visuels (par exemple, forme de la main, expression faciale et posture corporelle). En intégrant l’apprentissage multi-cue dans la conception des réseaux neuronaux, nous proposons un réseau spatial-temporel multi-cue (STMC) pour résoudre le problème d’apprentissage de séquences basé sur l’image. Notre réseau STMC se compose d’un module spatial multi-cue (SMC) et d’un module temporel multi-cue (TMC). Le module SMC est dédié à la représentation spatiale et décompose explicitement les caractéristiques visuelles des différentes sources grâce à une branche d’estimation de posture autonome. Le module TMC modélise les corrélations temporelles le long de deux chemins parallèles, à savoir intra-cue et inter-cue, dans le but de préserver l’unicité de chaque source tout en explorant leur collaboration. Enfin, nous avons conçu une stratégie d’optimisation conjointe afin d’atteindre un apprentissage de séquence end-to-end pour le réseau STMC. Pour valider l’efficacité de notre approche, nous avons mené des expériences sur trois benchmarks de grande taille pour la CSLR : PHOENIX-2014, CSL et PHOENIX-2014-T. Les résultats expérimentaux démontrent que la méthode proposée atteint de nouveaux états de l’art sur les trois benchmarks.