HyperAIHyperAI

Command Palette

Search for a command to run...

Estimation non supervisée de la posture 3D pour la reconnaissance hiérarchique des vidéos de danse

Xiaodan Hu Narendra Ahuja

Résumé

Les experts en danse considèrent souvent la danse comme une hiérarchie d'informations, allant des niveaux bas (images brutes, séquences d'images) aux niveaux intermédiaires (postures humaines et mouvements de parties du corps) jusqu'aux niveaux élevés (genre de danse). Nous proposons un cadre de reconnaissance vidéo de danse hiérarchique (HDVR). HDVR estime des séquences de postures 2D, suit les danseurs, puis estime simultanément les postures 3D correspondantes et les paramètres d'imagerie 3D-2D, sans nécessiter de vérité terrain pour les postures 3D. Contrairement à la plupart des méthodes qui traitent une seule personne, notre suivi fonctionne sur plusieurs danseurs, même en présence d'occlusions. À partir des séquences de postures 3D estimées, HDVR extrait les mouvements des parties du corps, puis en déduit le genre de danse. La représentation hiérarchique de la danse ainsi obtenue est explicable aux experts. Pour surmonter le bruit et les ambiguïtés d'appariement inter-images, nous imposons une régularité spatiale et temporelle du mouvement ainsi qu'une continuité photométrique au fil du temps. Nous utilisons un réseau LSTM pour extraire des sous-séquences de mouvements 3D à partir desquelles nous reconnaissons le genre de danse. Pour nos expériences, nous avons identifié 154 types de mouvements concernant 16 parties du corps et constitué un nouveau jeu de données appelé University of Illinois Dance (UID) Dataset, contenant 1143 extraits vidéo couvrant 9 genres sur 30 heures, annotés avec des étiquettes de mouvement et de genre. Nos résultats expérimentaux montrent que nos algorithmes surpassent les méthodes actuelles d'estimation de posture 3D, ce qui améliore également nos performances en reconnaissance de danse.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp