Essai De La GTC '19 Classic | Comment Chorégraphier Et Créer Des Danses En Deuxième Dimension ?

Lors du GTC China 2019 qui s'est tenu récemment à Suzhou, le laboratoire NetEase Leihuo Fuxi a présenté son projet de chorégraphie IA pour améliorer les performances des animations dans les jeux. En dotant l'IA d'une technologie de chorégraphie manuelle traditionnelle, nous pouvons obtenir un contenu de danse qui répond à la qualité du jeu en moins de temps. Par conséquent, cela peut encourager davantage de joueurs à interagir et à partager, et en même temps à présenter des poèmes, des chansons et des danses au public sous forme de jeux.

Tang Shiyi est un acteur national de premier ordre du Théâtre national d'opéra et de danse de Chine et a remporté de nombreux concours de danse nationaux majeurs ; "Against the Current", un jeu d'arts martiaux en ligne créé par NetEase Leihuo Fuxi Laboratory, est adapté du roman de Wen Ruian "Les Quatre".

Qui aurait pensé qu'un jour, Tang Shiyi porterait une combinaison de capture de mouvement et apparaîtrait dans l'équipe de production de « Contre le froid ». Sa posture de danse gracieuse et le charme de chacun de ses regards se reflétaient instantanément sur le personnage du jeu Li Shishi.

Il s'agit d'une partie de la chorégraphie réalisée par l'équipe de développement de « Against the Water Cold » à l'aide de l'IA. L'équipe de développement travaille avec l'équipe du Théâtre national d'opéra et de danse de Chine, dans l'espoir d'intégrer la culture chinoise et la danse classique dans le jeu, afin que ce trésor culturel puisse être transmis sous forme d'éléments de jeu.

Afin d'améliorer la qualité et la créativité de l'animation, en plus d'inviter des chorégraphes professionnels à chorégraphier des danses selon la musique correspondante,L’équipe a également appliqué l’intelligence artificielle au processus de chorégraphie, permettant à l’IA d’apprendre à chorégraphier des danses qui correspondent à différentes musiques en fonction de ces mouvements professionnels.

 Le laboratoire Leihuo Fuxi utilise l'IA pour créer une meilleure expérience de jeu

Le laboratoire NetEase Leihuo Fuxi (ci-après dénommé le laboratoire), filiale du groupe NetEase, a été fondé en 2007 et est le premier studio de jeux de NetEase à Hangzhou. Le laboratoire a développé successivement trois marques de jeux phares, « A Chinese Ghost Story », « Tianyu » et « Ni Shui Han », et a fait des tentatives dans les domaines de l'action, du sport et des jeux occasionnels.

Ces dernières années, le laboratoire a continué à déployer des efforts dans le domaine de l'IA et a lancé plusieurs applications prises en charge par l'IA dans les jeux pour créer une expérience de jeu à l'ère technologique pour les joueurs. Par exemple, les robots de combat 3v3 entraînés par plusieurs agents intelligents sont utilisés dans « Trendy Basketball » ; des algorithmes d'intelligence artificielle sont utilisés pour détecter les tricheurs dans « Sky : Children of the Light ».

Dans le projet de chorégraphie de danse pour les personnages de « Against the Water », le laboratoire a également appliqué la technologie de l'intelligence artificielle afin d'améliorer les performances de l'animation dans le jeu et d'augmenter l'efficacité de la chorégraphie.Grâce au support de la technologie de l'IA, les joueurs peuvent non seulement définir eux-mêmes les mouvements de danse du personnage, mais également définir la scène et l'éclairage et laisser libre cours à leur créativité.

Comment la technologie de chorégraphie de l'IA est-elle mise en œuvre ? Écoutons l’explication détaillée des développeurs derrière cette technologie. 

La chorégraphie traditionnelle est inefficace, comment y remédier ?

Lors du GTC China 2019 qui s'est tenu à Suzhou le 19 décembre de cette année, Wen Xiang, ingénieur algorithmique senior du laboratoire NetEase Leihuo Fuxi, a prononcé un discours intitulé« Système de chorégraphie intelligent basé sur le guidage par informations vidéo »Le discours nous a amené à explorer comment chorégraphier avec l’intelligence artificielle.

Wen Xiang a expliqué que la danse peut facilement trouver un écho auprès des utilisateurs, doncDe plus en plus de scènes s’appuieront sur un contenu de danse.Interagissez avec les joueurs. Par exemple, des scénarios tels que des jeux électroniques et des interactions VR. Wen Xiang et son équipe d'animation intelligente espèrent égalementUtiliser la technologie pour améliorer l’efficacité de la production d’animation et améliorer les performances de l’animation.

Pour la production de contenu de danse d'animation,Il existe deux méthodes traditionnelles :L’une d’elles est que les chorégraphes professionnels organisent la danse en fonction de la musique et utilisent un équipement professionnel pour séparer les mouvements de danse, qui sont ensuite modifiés par des animateurs professionnels pour obtenir l’œuvre finale. L’autre est que lorsque le contenu de danse doit être produit en masse, un danseur expérimenté coupera la musique puis intégrera les mouvements de danse déjà réalisés dans la musique.

Cependant, ces deux méthodes demandent beaucoup de temps et de travail.Wen Xiang et son équipe se sont donc demandé s’ils pourraient utiliser l’IA pour optimiser le processus de chorégraphie et obtenir automatiquement des mouvements de danse correspondants en fonction d’un morceau de musique ? Ils mettent les idées en pratique. 

Après avoir écouté de la musique et regardé des vidéos, l'IA a appris la chorégraphie

Les problèmes auxquels l’équipe a été confrontée initialement étaient que, d’une part, les données sur les mouvements de musique et de danse contenaient beaucoup de bruit ; en revanche, la quantité de données n'a pas répondu aux attentes. Pour résoudre ces problèmes, l’équipe a découvert qu’il existe de nombreuses vidéos de chorégraphie professionnelle sur des plateformes telles que Tik Tok et YouTube, qui contiennent de la musique et des informations sur le squelette 2D. Ils peuvent utiliser l'algorithme de squelette 2D existant pour analyser les informations du squelette 2D de la musique et finalement les faire correspondre aux mouvements 3D. Sur la base de cette idée, le projet de chorégraphie AI a été lancé.

 Première étape de la chorégraphie par IA : réseau de traduction musique-mouvement 

La première étape de la chorégraphie de l’IA consiste à traduire les mouvements de musique et de danse en données utilisables, à savoir le réseau d’interprétation audio-mouvement.

Tout d’abord, sélectionnez un certain nombre de vidéos de danse professionnelles sur YouTube, notamment des danses urbaines, hip-hop, chinoises et d’autres types. Ensuite, prenez environ 200 échantillons, chaque échantillon dure 3 à 6 minutes, utilisez Détection de squelette 2D, prétraitement des données.

L'équipe a ajouté quelques règles éthiques pour des problèmes tels que les storyboards, l'occlusion et les mouvements rapides de caméra qui affecteraient l'affichage du squelette 2D. Après le traitement, des données musicales et squelettiques 2D sont obtenues.

Utilisation de l'apprentissage profond pour extraire des postures de danse humaines dans des données squelettiques 2DPar la suite, l’équipe a utiliséRéseau de densité de mélange (MDN), pour une prédiction détaillée de la posture du corps,pour faire correspondre les mouvements à la musique. L’essentiel de cette étape est d’obtenir des informations sur le mouvement du squelette 2D qui correspondent à la musique.

 Chorégraphie IA Étape 2 : Correspondance de mouvement 3D basée sur les phases 

La deuxième étape consiste à faire correspondre le mouvement 3D aux informations de mouvement du squelette 2D, ce que l'on appelle la correspondance de danse basée sur la phase.

Cette étape repose principalement sur une mise en correspondance basée sur l’analyse de l’orientation de l’action. Les éléments ici incluentCaractéristiques de mouvement globales et informations sur les courbes locales,Par exemple, des informations sur les courbes du haut ou du bas du corps. Ensuite, en se basant sur la théorie selon laquelle 16 temps constituent un cycle, les mouvements sont découpés en morceaux. Dans le processus de segmentation, ce n’est pas aléatoire, mais basé sur une point d'arrêt Le mouvement à ce stade est souvent considéré comme le tournant du mouvement de danse.

De cette façon, un mouvement de danse peut être divisé en plusieurs sous-mouvements. Ces actions sont ensuite mises en correspondance avec les informations d’action dans la bibliothèque d’actions 3D. Chaque match sera noté, et l'action avec le score le plus élevé sera le résultat final le plus raisonnable et le plus beau. Ensuite, grâce à cette correspondance, la musique est finalement introduite pour obtenir des mouvements de danse 3D complets.

 La troisième étape de la chorégraphie de l'IA consiste à rendre la danse plus professionnelle et à ajouter des variables de mouvement 

Compléter l’action de correspondance n’est pas tout. L'équipe a constaté que dans des activités telles que Dance Storm et Street Dance Battle, la danse des experts semble toujours un peu différente. Grâce à l’observation, ils ont découvert que la raison principale étaitPaiement de musiqueSur certains aspects, les experts auront des points de vue différents.

L'équipe a donc rejointDéformation d'animation,J’espère juste que l’appariement par IA pourra également faire cela. Par conséquent, lorsqu'ils correspondent au point de musique de tapotement le plus proche, ils étireront ou compresseront le point de musique et accéléreront davantage la courbe d'action à l'approche du point de tapotement.Obtenez un degré d'ajustement plus élevé au point de marche.

La chorégraphie de l'IA inspire une imagination illimitée

Il est rapporté que le projet a été appliqué àOutils marketing, jeuxDans le jeu « Ni Shui Han », certains joueurs ont même utilisé une chorégraphie IA pour faire danser de manière enchanteresse les personnages masculins du jeu, attirant ainsi l'attention des internautes.

Afin d’éviter de produire la même danse, l’équipe a également ajouté du caractère aléatoire au réseau de sortie. Ainsi, la même musique produira des danses différentes, et les joueurs n'auront pas à se soucier de « porter les mêmes vêtements » dans les œuvres.

Il faut dire qu’avec l’aide de la technologie de l’IA, la culture chinoise peut être transformée en éléments de jeu, présentée au public et diffusée plus largement. En même temps, le jeu devient plus intéressant et plus personnalisé.

Pour reprendre les mots de Li Renjie, directeur du laboratoire d'intelligence artificielle Fuxi de NetEase, « l'IA rend les jeux meilleurs et le monde meilleur. »

-- sur--