Command Palette
Search for a command to run...
MT-VAE : Apprentissage des transformations de mouvement pour générer des dynamiques humaines multimodales
MT-VAE : Apprentissage des transformations de mouvement pour générer des dynamiques humaines multimodales
Xinchen Yan Akash Rastogi Ruben Villegas Kalyan Sunkavalli Eli Shechtman Sunil Hadap Ersin Yumer Honglak Lee
Résumé
Le mouvement humain à long terme peut être représenté comme une série de modes de mouvement --- des séquences de mouvement qui capturent les dynamiques temporelles à court terme --- avec des transitions entre eux. Nous exploitons cette structure et présentons un nouveau modèle de Motion Transformation Variational Auto-Encoders (MT-VAE) pour l'apprentissage de la génération de séquences de mouvement. Notre modèle apprend conjointement une empreinte caractéristique pour les modes de mouvement (à partir de laquelle la séquence de mouvement peut être reconstruite) et une transformation caractéristique qui représente la transition d'un mode de mouvement au mode suivant. Notre modèle est capable de générer plusieurs séquences de mouvement futures diverses et plausibles à partir du même entrée. Nous appliquons notre approche aux mouvements faciaux et corporels complets, et démontrons des applications telles que le transfert de mouvement basé sur l'analogie et la synthèse vidéo.