Estimation non supervisée de la posture 3D pour la reconnaissance hiérarchique des vidéos de danse

Les experts en danse considèrent souvent la danse comme une hiérarchie d'informations, allant des niveaux bas (images brutes, séquences d'images) aux niveaux intermédiaires (postures humaines et mouvements de parties du corps) jusqu'aux niveaux élevés (genre de danse). Nous proposons un cadre de reconnaissance vidéo de danse hiérarchique (HDVR). HDVR estime des séquences de postures 2D, suit les danseurs, puis estime simultanément les postures 3D correspondantes et les paramètres d'imagerie 3D-2D, sans nécessiter de vérité terrain pour les postures 3D. Contrairement à la plupart des méthodes qui traitent une seule personne, notre suivi fonctionne sur plusieurs danseurs, même en présence d'occlusions. À partir des séquences de postures 3D estimées, HDVR extrait les mouvements des parties du corps, puis en déduit le genre de danse. La représentation hiérarchique de la danse ainsi obtenue est explicable aux experts. Pour surmonter le bruit et les ambiguïtés d'appariement inter-images, nous imposons une régularité spatiale et temporelle du mouvement ainsi qu'une continuité photométrique au fil du temps. Nous utilisons un réseau LSTM pour extraire des sous-séquences de mouvements 3D à partir desquelles nous reconnaissons le genre de danse. Pour nos expériences, nous avons identifié 154 types de mouvements concernant 16 parties du corps et constitué un nouveau jeu de données appelé University of Illinois Dance (UID) Dataset, contenant 1143 extraits vidéo couvrant 9 genres sur 30 heures, annotés avec des étiquettes de mouvement et de genre. Nos résultats expérimentaux montrent que nos algorithmes surpassent les méthodes actuelles d'estimation de posture 3D, ce qui améliore également nos performances en reconnaissance de danse.