Command Palette
Search for a command to run...
Génération de mouvement articulé assistée par squelette
Génération de mouvement articulé assistée par squelette
Yan Yichao Xu Jingwei Ni Bingbing Yang Xiaokang
Résumé
Ce travail constitue la première tentative de génération de séquences de mouvement humain articulé à partir d'une seule image. D'une part, nous utilisons des entrées appariées comprenant des informations sur la structure squelettique humaine, servant d'embedding du mouvement, et une image unique d'humain, servant de référence d'apparence, afin de générer de nouvelles trames de mouvement, sur la base d'une infrastructure GAN conditionnelle. D'autre part, une perte en triplet est employée pour assurer une continuité fluide de l'apparence entre trames consécutives. Étant donné que le cadre proposé permet d'exploiter conjointement l'espace d'apparence d'image et l'espace de mouvement articulé/cinématique, il parvient à générer des séquences de mouvement réalistes, contrairement à la plupart des méthodes antérieures de génération vidéo qui produisent des effets de mouvement flous. Nous avons évalué notre modèle sur deux jeux de données d'actions humaines, à savoir KTH et Human3.6M, et le cadre proposé a obtenu des résultats très prometteurs sur ces deux jeux de données.