Command Palette
Search for a command to run...
Préconnaissance hiérarchique humaine générique par rapport à la tâche à l’aide de VAE
Préconnaissance hiérarchique humaine générique par rapport à la tâche à l’aide de VAE
Jiaman Li Ruben Villegas Duygu Ceylan Jimei Yang Zhengfei Kuang Hao Li Yajie Zhao
Résumé
Un modèle génératif profond décrivant les mouvements humains peut bénéficier à un large éventail de tâches fondamentales en vision par ordinateur et en informatique graphique, telles que renforcer la robustesse de l’estimation de posture humaine à partir de vidéos, prédire des mouvements corporels complets pour les systèmes de capture de mouvement en cas d’occlusion, ou aider à l’animation par images clés en fournissant des mouvements plausibles. Dans cet article, nous proposons une méthode d’apprentissage de mouvements humains complexes, indépendante des tâches spécifiques, en exploitant un espace latent combiné global et local afin de faciliter une modélisation à la fois grossière et fine. Plus précisément, nous introduisons un autoencodeur variationnel hiérarchique pour les mouvements (HM-VAE), basé sur un espace latent hiérarchique à deux niveaux. Alors que l’espace latent global capte le mouvement global du corps, l’espace latent local permet de capturer les postures raffinées des différentes parties du corps. Nous démontrons l’efficacité de notre modèle HM-VAE dans diverses tâches, notamment l’estimation de posture humaine à partir de vidéos, la complétion de mouvements à partir d’observations partielles, et la synthèse de mouvements à partir de clés de cadre rares. Malgré le fait que notre modèle n’ait pas été spécifiquement entraîné pour ces tâches, il obtient des performances supérieures à celles des approches spécialisées. Ce modèle généraliste préalable aux mouvements humains peut corriger des animations corporelles corrompues et générer des mouvements complets à partir d’observations incomplètes.