Reconnaissance d'activités humaines : une encodage d'images spatio-temporelles des données 3D de squelette pour la détection en ligne d'actions

La reconnaissance des activités humaines (HAR) basée sur des données squelettiques extraites des vidéos (comme avec Kinect, par exemple) ou fournies par une caméra à profondeur constitue un problème de classification de séries temporelles, où la prise en compte des dépendances spatiales et temporelles s'avère essentielle pour assurer une reconnaissance efficace. Dans le cadre de la reconnaissance en temps réel des activités humaines, l’identification du début et de la fin d’une action représente un élément crucial, bien que cette tâche puisse s’avérer difficile dans un flux de données continu. Dans ce travail, nous proposons une méthode d’encodage des données squelettiques 3D permettant de générer une image qui préserve les dépendances spatiales et temporelles existant entre les articulations squelettiques. Afin de permettre la détection en temps réel des actions, nous combinons ce système d’encodage avec une fenêtre glissante appliquée au flux de données continu. Grâce à cette approche, il n’est plus nécessaire de disposer d’horodatages de début ou de fin, et la reconnaissance peut être effectuée à tout moment. Un algorithme de deep learning basé sur un réseau de neurones convolutifs (CNN) est utilisé pour réaliser la détection en temps réel des actions.