HyperAIHyperAI

Command Palette

Search for a command to run...

AI Choreographer : Génération 3D de danse conditionnée par la musique avec AIST++

Ruilong Li Shan Yang David A. Ross Angjoo Kanazawa

Résumé

Nous présentons AIST++, un nouveau jeu de données multimodal comprenant des mouvements de danse 3D et de la musique, ainsi que FACT, un réseau Transformer cross-modal à attention complète conçu pour générer des mouvements de danse 3D conditionnés par la musique. Le jeu de données AIST++ contient 5,2 heures de mouvements de danse 3D répartis sur 1 408 séquences, couvrant 10 styles de danse différents, accompagnés de vidéos en plusieurs vues dont les poses de caméra sont connues — il s’agit, à notre connaissance, du plus grand jeu de données de ce type. Nous montrons qu’une application naïve de modèles séquentiels tels que les Transformers à ce jeu de données pour la tâche de génération de mouvements 3D conditionnés par la musique ne produit pas de mouvements 3D satisfaisants, mal corrélés avec la musique d’entrée. Nous surmontons ces limitations grâce à des modifications clés dans la conception architecturale et la supervision : le modèle FACT intègre un bloc profond de Transformer cross-modal à attention complète, entraîné pour prédire NNN étapes futures de mouvement. Nous démontrons empiriquement que ces améliorations sont des facteurs essentiels pour générer des séquences longues de mouvements de danse réalistes, bien synchronisés avec la musique d’entrée. Nous menons des expériences approfondies sur AIST++ incluant des études utilisateurs, où notre méthode surpasser les méthodes de pointe récentes, tant du point de vue qualitatif que quantitatif.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
AI Choreographer : Génération 3D de danse conditionnée par la musique avec AIST++ | Articles | HyperAI