TricorNet : Un Réseau Hybride de Convolution Temporelle et Récurrence pour la Segmentation d'Actions Vidéo

La segmentation d'actions en tant que jalonnement vers la construction de systèmes automatiques pour comprendre les vidéos non coupées a suscité une attention considérable ces dernières années. Elle est généralement modélisée comme un problème d'étiquetage de séquences, mais présente des différences intrinsèques et suffisantes par rapport à l'analyse syntaxique du texte ou au traitement de la parole. Dans cet article, nous présentons un nouveau réseau hybride temporel convolutif et récurrent (TricorNet) doté d'une architecture encodeur-décodeur : l'encodeur est composé d'une hiérarchie de noyaux convolutifs temporels qui capturent les changements de mouvement locaux de différentes actions ; le décodeur est une hiérarchie de réseaux neuronaux récurrents capables d'apprendre et de mémoriser les dépendances à long terme des actions après l'étape d'encodage. Notre modèle est simple mais extrêmement efficace en termes d'étiquetage de séquences vidéo. Les résultats expérimentaux sur trois jeux de données publics de segmentation d'actions ont montré que le modèle proposé dépasse les performances de l'état de l'art.