Command Palette
Search for a command to run...
Vid2Avatar : Reconstruction d'avatar 3D à partir de vidéos dans des conditions réelles grâce à la décomposition de scène auto-supervisée
Vid2Avatar : Reconstruction d'avatar 3D à partir de vidéos dans des conditions réelles grâce à la décomposition de scène auto-supervisée
Chen Guo Tianjian Jiang Xu Chen Jie Song Otmar Hilliges
Résumé
Nous présentons Vid2Avatar, une méthode permettant d'apprendre des avatars humains à partir de vidéos monoscopiques prises dans des conditions naturelles. La reconstruction d'humains qui se déplacent naturellement à partir de vidéos monoscopiques prises dans des conditions naturelles est un défi complexe. Pour y parvenir, il est nécessaire de séparer avec précision les humains des arrière-plans arbitraires. De plus, cela nécessite la reconstruction d'une surface 3D détaillée à partir de séquences vidéo courtes, ce qui rend la tâche encore plus ardue. Malgré ces défis, notre méthode ne nécessite aucune supervision par des données vérité-terrain ni l'extraction de priorités à partir de grands ensembles de données de scans humains vêtus ; nous ne faisons pas non plus appel à des modules externes de segmentation. Au lieu de cela, elle résout directement les tâches de décomposition de la scène et de reconstruction de la surface en 3D en modélisant conjointement l'humain et l'arrière-plan dans la scène, paramétrés par deux champs neuronaux distincts. Plus précisément, nous définissons une représentation temporellement cohérente de l'humain dans l'espace canonique et formulons une optimisation globale sur le modèle d'arrière-plan, la forme et la texture humaines canoniques, ainsi que les paramètres de pose humaine par image. Une stratégie d'échantillonnage grossière puis fine pour le rendu volumique et des objectifs novateurs sont introduits pour une séparation claire entre l'humain dynamique et l'arrière-plan statique, aboutissant à des reconstructions géométriques 3D détaillées et robustes. Nous évaluons nos méthodes sur des jeux de données publiquement disponibles et montrons des améliorations par rapport aux travaux antérieurs.