SkeleMotion : Une Nouvelle Représentation des Séquences de Joints Squelettiques Basée sur les Informations de Mouvement pour la Reconnaissance d'Actions en 3D

En raison de la disponibilité de grands ensembles de données squelettiques, la reconnaissance d'actions humaines en 3D a récemment attiré l'attention de la communauté de la vision par ordinateur. De nombreuses études se sont concentrées sur l'encodage des données squelettiques sous forme de représentations d'images squelettiques basées sur la structure spatiale des articulations squelettiques, où les dynamiques temporelles de la séquence sont encodées comme des variations dans les colonnes et la structure spatiale de chaque image est représentée par les lignes d'une matrice. Pour améliorer davantage ces représentations, nous introduisons une nouvelle représentation d'image squelettique destinée à être utilisée comme entrée pour les Réseaux Neuronaux Convolutifs (CNNs), nommée SkeleMotion. L'approche proposée encode les dynamiques temporelles en calculant explicitement les valeurs de magnitude et d'orientation des articulations squelettiques. Différentes échelles temporelles sont utilisées pour calculer les valeurs de mouvement, ce qui permet d'agréger plus de dynamiques temporelles à la représentation, rendant ainsi possible la capture des interactions articulaires à long terme impliquées dans les actions tout en filtrant les valeurs de mouvement bruyantes. Les résultats expérimentaux démontrent l'efficacité de cette représentation proposée pour la reconnaissance d'actions en 3D, surpassant l'état de l'art sur le jeu de données NTU RGB+D 120.