Mangez Ces Ensembles De Données Et Ces Modèles, Apprenez À Danser Avec L'ia Et Créez Des TensorFlowBoys
L'algorithme d'apprentissage profond GAN peut être utilisé pour réaliser le suivi et la migration des mouvements, en copiant les mouvements d'un certain personnage sur d'autres personnes. Si on l’applique au domaine de la danse, tout le monde peut devenir un roi de la danse.
Récemment, « This! » La deuxième saison de « Street Dance of China » a commencé, déclenchant une fois de plus l'engouement pour la danse à l'échelle nationale.
Peu de temps après sa diffusion, ce programme énergique a reçu une note élevée de 9,6 sur Douban. Les merveilleuses performances des danseurs lors de la compétition ont fait s'exclamer le public devant l'écran : « Trop excitant ! » "Incroyable !", et ils ne pouvaient même pas s'empêcher de trembler au rythme de la musique.
Cependant, si vous voulez vraiment sauter, la différence entre la réalité et l'imagination est probablementIl manque juste quelques Show Luos.Je m'imagine comme ça :
Mais en réalité, c'est comme ça :
Pour les danseurs, leurs mouvements s'appellent Hiphop, Breaking, Locking, etc., tandis que pour les spectateurs, il s'agit simplement de secouer, rouler, pointer...
Peut-être que je ne pourrai jamais danser la street dance de cette vie ? Allons faire un peu de danse carrée...
etc! N'abandonnez pas si vite.Plusieurs pontes de l'Université de Californie à Berkeley ont développé pour vous une « arme secrète » d'IA, qui vous permettra d'améliorer instantanément vos compétences en danse et de devenir la prochaine génération de roi de la danse.
Tout le monde peut être un roi de la danse
En août dernier, des chercheurs de l’Université de Californie à Berkeley ont publié un article intitulé« Tout le monde danse maintenant »Thèse,faireGrâce à l’algorithme d’apprentissage profond GAN (Generative Adversarial Networks), il est possible de copier les mouvements d’artistes professionnels et de les transférer à n’importe qui.,Ainsi, nous parvenons à « Faites comme moi ».
Regardons d’abord les résultats de la danse copiée et ressentons-les :
La technologie de changement de visage Deepfake était très populaire auparavant, mais elle l'est désormaisLa personne entière peut être « Deepfake » !Voyons comment cette opération magique est réalisée.
Le document indique :Actions migratoiresLa méthode est généralement divisée en plusieurs étapes :
- Étant donné deux vidéos, l’une est la vidéo source de l’action et l’autre est la vidéo de la personne cible ;
- Ensuite, un algorithme est utilisé pour détecter les mouvements des danseurs professionnels à partir de la vidéo source et créer des cadres en forme de bonhomme allumette des mouvements correspondants ;
- Ensuite, l’algorithme d’apprentissage profond des deux réseaux antagonistes génératifs (GAN) formés a été utilisé pour créer des images complètes de la personne cible et générer des images vidéo plus claires et plus réalistes pour elle.
Le résultat final est,Le système peut mapper les mouvements corporels des danseurs professionnels sur ceux des danseurs amateurs..En plus d'imiter les mouvements, ilCapable de simuler parfaitement les voix humaines et les expressions faciales.
Les principes derrière la technologie noire révélés
Le principe spécifique de cette technologie noire est le suivant : le pipeline de migration d'actions est divisé en trois parties :
1. Détection de posture :
L'équipe a utilisé des ressources existantesModèle de détection de pose OpenPose (projet open source CMU),Extrayez les points clés de la pose du corps, du visage et des mains à partir des vidéos sources. L’essence de cette étape est d’encoder la posture du corps et d’ignorer les informations telles que la forme du corps.
2. Normalisation globale de la posture :
Calculez la différence entre la forme du corps et la position de la personne source et cible dans une image donnée, et transformez le graphique de pose source en un graphique de pose qui correspond à la forme du corps et à la position de la personne cible.
3. Déduire l'image de la personne cible à partir du graphique de posture standardisé :
À l’aide d’un modèle de réseau antagoniste génératif, le modèle est formé pour apprendre le mappage du graphique de pose standardisé vers l’image de la personne cible.
Lors du développement du système, l'équipe a utilisé le GPU GeForce GTX 1080 Ti dans le NVIDIA TITAN Xp et cuDNN accéléré par PyTorch pour la formation et l'inférence.
Dans l'étape de conversion d'image, nous utilisons la traduction d'image d'entraînement contradictoire développée par NVIDIA. pix2pixHD Architecture. Le résidu facial est prédit par le générateur global de pix2pixHD. Ils utilisent un seul discriminateur PatchGAN 70×70 pour les visages.
Pendant la formation, les données vidéo source et cible sont collectées de manières légèrement différentes. Pour garantir la qualité de la vidéo cible, une caméra de téléphone portable a été utilisée pour capturer des images en temps réel du sujet cible à une vitesse de 120 images par seconde, et chaque vidéo durait au moins 20 minutes.
Pour la vidéo source, nous avons seulement besoin d'obtenir les résultats de détection de pose appropriés, afin que vous puissiez utiliser des vidéos de haute qualité de spectacles de danse sur Internet.
Quant aux résultats du système, les chercheurs ont déclaré qu'ils n'étaient pas encore parfaits. Bien que les vidéos qu'il produit soient pour la plupart très réalistes,Parfois, il y aura un signe que quelque chose ne va pas, comme la disparition d’une partie du corps.Phénomènes anormaux tels que la « fonte ».
aussi,Étant donné que l’algorithme n’encode pas les vêtements, il est impossible de produire une vidéo des vêtements flottant au gré des mouvements., la cible doit porter des vêtements serrés.
Si l’on met de côté ces défauts, la technologie est passionnante.
Avec cet outil d'IA, même si vous êtes novice en danse ou que vos membres sont raides et mal coordonnés, vous pouvez devenir un « maître de la danse » comme Aaron Kwok, Show Luo ou tout autre danseur que vous aimez. Même le moonwalk de Jackson est un jeu d'enfant pour vous.
Cependant, l’équipe de Berkeley n’est pas la seule à rêver de danse. Google a également beaucoup réfléchi à la combinaison de l’IA et de la danse.
L'IA de Google chorégraphie de nouveaux mouvements de danse
À la fin de l'année dernière, Damien Henry, chef de projet technique chez Google Arts and Culture, a travaillé avec le chorégraphe britannique Wayne McGregor pour développer unUn outil capable de générer automatiquement des chorégraphies de danse dans un style spécifique.
McGregor, titulaire d'un doctorat honorifique en sciences de l'Université de Plymouth, s'intéresse depuis longtemps à la science et à la technologie. En revoyant 25 années de vidéos de danse, il s’est demandé s’il pouvait utiliser la technologie pour garder ses performances fraîches. Il est donc allé demander à Henry comment utiliser la technologie pour créer continuellement de nouveaux contenus de danse ?
Henry a trouvé l’inspiration dans un article publié sur un site Web scientifique. Cet article présente l’utilisation des réseaux neuronaux pour prédire la lettre suivante en fonction de l’écriture de la lettre précédente.
Alors, ilUn algorithme similaire est proposé, capable de faire des prédictions pour un mouvement donné. La posture du danseur est capturée par vidéo, puis les mouvements de danse les plus probables sont générés et affichés sur l'écran en temps réel.montrer.
Cet algorithme ignore également les vêtements des personnes et capture uniquement les points clés de la posture spécifique de l'acteur pour produire un modèle de bonhomme allumette.
Lorsqu'ils lui ont donné des vidéos de danse de McGregor et de ses danseurs, l'IA a appris à danser, et le style de danse qu'elle a généré était très similaire à celui de McGregor.
Bien que l’intelligence artificielle ait encore certaines limites dans la créativité en danse. Cet outil d’IA de Google ne peut pas inventer des actions qu’il n’a pas « vues » auparavant. C'est justeprédireL'action la plus probable parmi celles qu'il a apprises.
aussi,Cette technologie peut également fournir des chorégraphies de danse de style mixte,Par exemple, si vous insérez une vidéo de samba brésilienne dans la vidéo de McGregor, l'IA peut proposer une danse mixte complètement nouvelle. Henry ne s'inquiète pas du fait que cela donne une danse étrange, car la source de l'apprentissage est toujours l'apport des gens.de.
Suivi de posture par IA, bien plus qu'un simple « rêve de danse »
Après avoir vu tant de techniques pour vous aider à « danser », avez-vous hâte de les essayer ?
Dance AI peut permettre aux personnes qui ont peur ou qui ne veulent pas bouger de se déplacer plus librement et plus facilement et de découvrir la joie de la danse et du sport. Mais la technologie qui se cache derrière tout cela est bien plus que simplement divertissante.
Soutenez la danse Estimation de la pose de l'IA,Il y a une énorme quantité d'énergie cachée derrière cela, qui peut nous aider à effectuer des mouvements corporels avec plus de précision, comme L'apprentissage du fitness en 3D, la correction de la posture sportive, la formation à la rééducation des patients et même l'ajustement virtuel et la correction de la posture par photo apporteront de nouvelles avancées.
Avec ce type de développement, les machines nous comprendront mieux et se familiariseront davantage avec nos caractéristiques physiques et nos comportements, nous aidant ainsi à mieux nous comprendre nous-mêmes.
Bon, arrêtons de parler pour l’instant. Je vais apprendre à danser grâce à l’IA. Voulez-vous venir avec nous ?