Réseaux multi-flux en chaîne exploitant la posture, le mouvement et l'apparence pour la classification et la détection d'actions

La reconnaissance générale des actions humaines nécessite une compréhension de divers indices visuels. Dans cet article, nous proposons une architecture de réseau qui calcule et intègre les indices visuels les plus importants pour la reconnaissance des actions : la posture (pose), le mouvement (motion) et les images brutes (raw images). Pour l'intégration, nous introduisons un modèle de chaîne de Markov qui ajoute les indices successivement. L'approche résultante est efficace et s'applique à la classification des actions ainsi qu'à leur localisation spatiale et temporelle. Ces deux contributions améliorent clairement les performances par rapport aux lignes de base respectives. L'approche globale atteint des performances de classification d'actions d'état de l'art sur les ensembles de données HMDB51, J-HMDB et NTU RGB+D. De plus, elle fournit des résultats de localisation spatio-temporelle d'actions d'état de l'art sur les ensembles de données UCF101 et J-HMDB.