ICON : Humains vêtus obtenus implicitement à partir de normaux

Les méthodes actuelles pour l'apprentissage d'avatars 3D réalistes et animables nécessitent soit des scans 3D posés, soit des images 2D avec des poses d'utilisateur soigneusement contrôlées. En revanche, notre objectif est d'apprendre un avatar à partir de seules des images 2D de personnes dans des poses non contraintes. Étant donné un ensemble d'images, notre méthode estime une surface 3D détaillée à partir de chaque image, puis combine ces surfaces en un avatar animable. Les fonctions implicites sont bien adaptées à la première tâche, car elles peuvent capturer des détails tels que les cheveux et les vêtements. Cependant, les méthodes actuelles ne sont pas robustes face aux différentes poses humaines et produisent souvent des surfaces 3D avec des membres cassés ou détachés, des détails manquants ou des formes non humaines. Le problème est que ces méthodes utilisent des encodeurs de caractéristiques globales qui sont sensibles à la pose globale. Pour remédier à cela, nous proposons ICON ("Implicit Clothed humans Obtained from Normals"), qui utilise plutôt des caractéristiques locales. ICON comporte deux modules principaux, tous deux exploitant le modèle corporel SMPL(-X). Premièrement, ICON infère les normales détaillées d'un humain vêtu (avant/arrière) conditionnées par les normales SMPL(-X). Deuxièmement, un régresseur de surface implicite sensible à la visibilité produit une iso-surface d'un champ d'occupation humain. Importamment, lors de l'inférence, une boucle de rétroaction alterne entre le raffinement du maillage SMPL(-X) en utilisant les normales vêtues inférées et le raffinement des normales. Étant donné plusieurs cadres reconstruits d'un sujet dans diverses poses, nous utilisons SCANimate pour produire un avatar animable à partir de ceux-ci. L'évaluation sur les jeux de données AGORA et CAPE montre que ICON surpasse l'état de l'art en reconstruction, même avec des données d'entraînement fortement limitées. De plus, elle est beaucoup plus robuste face aux échantillons hors distribution, par exemple des poses/images naturelles et des rognages hors cadre. ICON franchit une étape vers une reconstruction 3D robuste d'humains vêtus à partir d'images naturelles. Cela permet la création directe d'avatars à partir de vidéos avec une déformation naturelle et personnalisée du vêtement selon la pose.