HyperAIHyperAI
il y a 11 jours

Danse avec la musique

Hsin-Ying Lee, Xiaodong Yang, Ming-Yu Liu, Ting-Chun Wang, Yu-Ding Lu, Ming-Hsuan Yang, Jan Kautz
Danse avec la musique
Résumé

La danse au rythme de la musique est un mouvement instinctif chez l’être humain. Toutefois, apprendre à modéliser le processus de génération de danse à partir de musique constitue un problème complexe. Il nécessite des efforts considérables pour mesurer la corrélation entre musique et danse, car il est indispensable de prendre en compte simultanément plusieurs aspects, tels que le style et le tempo tant de la musique que de la danse. En outre, la danse est intrinsèquement multimodale, et à tout instant, plusieurs mouvements suivants à partir d’une posture donnée sont également probables. Dans cet article, nous proposons un cadre d’apprentissage par synthèse-analyse pour générer de la danse à partir de musique. Dans la phase d’analyse, nous décomposons une danse en une série d’unités fondamentales de danse, permettant au modèle d’apprendre les mouvements. Dans la phase de synthèse, le modèle apprend à composer une danse en organisant de manière fluide plusieurs mouvements de danse de base en fonction de la musique d’entrée. Des résultats expérimentaux qualitatifs et quantitatifs démontrent que la méthode proposée permet de générer des danses réalistes, diversifiées, cohérentes en style et synchronisées avec le rythme à partir de la musique.