SelfRecon : Reconstruction Auto de Votre Avatar Numérique à Partir d'une Vidéo Monoculaire

Nous proposons SelfRecon, une méthode de reconstruction du corps humain vêtu qui combine des représentations implicites et explicites afin de restaurer des géométries cohérentes dans l’espace-temps à partir d’une vidéo monoscopique d’un humain en rotation sur lui-même. Les méthodes explicites nécessitent un maillage prédéfini (modèle de référence) pour chaque séquence, mais l’acquisition de ce modèle est difficile pour un sujet spécifique. En outre, la topologie fixe limite la précision de la reconstruction ainsi que la diversité des types de vêtements pouvant être modélisés. Les représentations implicites, quant à elles, permettent une topologie arbitraire et peuvent représenter des formes géométriques de haute fidélité grâce à leur nature continue. Toutefois, il est difficile d’intégrer efficacement les informations provenant de plusieurs cadres pour produire une séquence d’alignement cohérente, nécessaire aux applications ultérieures. Nous proposons donc de combiner les avantages des deux approches. Nous utilisons une perte différentiable basée sur le masque du maillage explicite pour obtenir une forme globale cohérente, tandis que les détails sur la surface implicite sont affinés grâce au rendu neuronal différentiable. Par ailleurs, le maillage explicite est mis à jour périodiquement afin de tenir compte des changements de topologie, et une perte de cohérence est conçue pour aligner les deux représentations. Par rapport aux méthodes existantes, SelfRecon permet de générer des surfaces de haute fidélité pour des humains vêtus quelconques, via une optimisation auto-supervisée. Des résultats expérimentaux étendus démontrent son efficacité sur des vidéos réelles capturées en monoscopie. Le code source est disponible à l’adresse suivante : https://github.com/jby1993/SelfReconCode.