MT-VAE : Apprentissage des transformations de mouvement pour générer des dynamiques humaines multimodales

Le mouvement humain à long terme peut être représenté comme une série de modes de mouvement --- des séquences de mouvement qui capturent les dynamiques temporelles à court terme --- avec des transitions entre eux. Nous exploitons cette structure et présentons un nouveau modèle de Motion Transformation Variational Auto-Encoders (MT-VAE) pour l'apprentissage de la génération de séquences de mouvement. Notre modèle apprend conjointement une empreinte caractéristique pour les modes de mouvement (à partir de laquelle la séquence de mouvement peut être reconstruite) et une transformation caractéristique qui représente la transition d'un mode de mouvement au mode suivant. Notre modèle est capable de générer plusieurs séquences de mouvement futures diverses et plausibles à partir du même entrée. Nous appliquons notre approche aux mouvements faciaux et corporels complets, et démontrons des applications telles que le transfert de mouvement basé sur l'analogie et la synthèse vidéo.