HyperAIHyperAI
il y a 2 mois

ECON : Explicit Clothed humans Optimized via Normal integration ECON : Humains vêtus explicitement optimisés par intégration normale

Xiu, Yuliang ; Yang, Jinlong ; Cao, Xu ; Tzionas, Dimitrios ; Black, Michael J.
ECON : Explicit Clothed humans Optimized via Normal integration
ECON : Humains vêtus explicitement optimisés par intégration normale
Résumé

La combinaison de l'apprentissage profond, des balayages curatés par des artistes et des Fonctions Implicites (IF) permet la création de représentations 3D détaillées et vêtues d'êtres humains à partir d'images. Cependant, les méthodes existantes sont loin d'être parfaites. Les méthodes basées sur les IF récupèrent une géométrie libre, mais produisent des membres détachés ou des formes dégénérées pour de nouvelles postures ou vêtements. Pour augmenter la robustesse dans ces cas, les travaux existants utilisent un modèle corporel paramétrique explicite pour contraindre la reconstruction de surface, mais cela limite la récupération de surfaces libres telles que des vêtements amples qui s'écartent du corps. Ce dont nous avons besoin est une méthode qui combine les meilleures propriétés de la représentation implicite et de la régularisation corporelle explicite. À cet effet, nous faisons deux observations clés : (1) les réseaux actuels sont meilleurs pour inférer des cartes 2D détaillées que des surfaces pleinement 3D, et (2) un modèle paramétrique peut être considéré comme une "toile" pour assembler des patchs de surface détaillée. Sur cette base, notre méthode, ECON, comporte trois étapes principales : (1) Elle infère des cartes normales 2D détaillées pour le côté avant et arrière d'une personne vêtue. (2) À partir de celles-ci, elle reconstruit des surfaces 2.5D avant et arrière, appelées d-BiNI, qui sont également détaillées mais incomplètes, et les enregistre par rapport l'une à l'autre avec l'aide d'un maillage corporel SMPL-X récupéré à partir de l'image. (3) Elle "retouche" la géométrie manquante entre les surfaces d-BiNI. Si le visage et les mains sont bruyants, ils peuvent éventuellement être remplacés par ceux du SMPL-X. En conséquence, ECON infère des représentations 3D haute fidélité même en présence de vêtements amples et de postures difficiles. Selon l'évaluation quantitative effectuée sur les jeux de données CAPE et Renderpeople, cela dépasse largement les méthodes précédentes. Des études perceptuelles montrent également que le réalisme perçu d'ECON est nettement meilleur. Le code source et les modèles sont disponibles à des fins de recherche sur econ.is.tue.mpg.de.

ECON : Explicit Clothed humans Optimized via Normal integration ECON : Humains vêtus explicitement optimisés par intégration normale | Articles de recherche récents | HyperAI