Génération de mouvements articulés assistée par le squelette

Ce travail constitue la première tentative de générer une séquence de mouvements articulés d'un être humain à partir d'une seule image. D'une part, nous utilisons des entrées appariées comprenant des informations sur le squelette humain en tant qu'embedding de mouvement et une seule image humaine comme référence d'apparence, pour générer de nouvelles images de mouvement, basées sur l'infrastructure de GAN conditionnelle. D'autre part, une perte triplet est employée pour assurer la fluidité d'apparence entre les images consécutives. Comme le cadre proposé est capable d'exploiter conjointement l'espace d'apparence des images et l'espace de mouvements articulés/kinématiques, il génère des séquences de mouvements articulés réalistes, contrairement à la plupart des méthodes précédentes de génération vidéo qui produisent des effets de mouvement flous. Nous avons testé notre modèle sur deux jeux de données d'actions humaines incluant KTH et Human3.6M, et le cadre proposé a produit des résultats très prometteurs sur les deux jeux de données.