Encodage spatio-temporel amélioré pour la reconnaissance en ligne des activités humaines

La reconnaissance d’activités humaines (HAR) basée sur les données capteurs peut être considérée comme un problème de classification de séries temporelles, dont le défi réside dans la gestion des dépendances spatiales et temporelles, tout en se concentrant sur les variations de données les plus pertinentes. Cette tâche peut être réalisée à l’aide de données 3D issues d’un squelette extrait à partir d’une caméra RGB+D. Dans ce travail, nous proposons d’améliorer le codage spatio-temporel des images de squelettes 3D capturées par un capteur Kinect, en explorant le concept d’énergie de mouvement, qui se concentre principalement sur les articulations du squelette les plus sollicitées lors d’une action. Ce codage permet d’obtenir une meilleure discrimination pour la détection d’activités en temps réel en mettant l’accent sur les parties les plus significatives des actions. L’article présente ce nouveau codage ainsi que son application à la HAR à l’aide d’un modèle d’apprentissage profond entraîné sur les données de squelette 3D encodées. À cet effet, nous avons étudié la transférabilité des connaissances de plusieurs réseaux de neurones convolutifs pré-entraînés fournis par Keras. Les résultats montrent une amélioration significative de la précision de l’apprentissage par rapport aux états de l’art.