ARCH++ : Reconstruction d'humains vêtus prête pour l'animation revisitée

Nous présentons ARCH++, une méthode basée sur l'image pour reconstruire des avatars 3D avec des styles de vêtements arbitraires. Nos avatars reconstruits sont prêts à être animés et hautement réalistes, tant dans les régions visibles des vues d'entrée que dans les régions non visibles. Bien que les travaux précédents montrent un grand potentiel pour la reconstruction d'humains vêtus animables avec diverses topologies, nous observons qu'il existe des limitations fondamentales entraînant une qualité de reconstruction sous-optimale. Dans cet article, nous reprenons les principales étapes de la reconstruction d'avatars basée sur l'image et abordons ces limitations avec ARCH++. Premièrement, nous introduisons un encodeur géométrique basé sur des points de bout en bout pour mieux décrire la sémantique du corps humain 3D sous-jacent, en remplacement des caractéristiques conçues manuellement précédemment. Deuxièmement, afin de résoudre l'ambiguïté d'occupation due aux changements topologiques des humains vêtus dans la posture canonique, nous proposons un cadre de co-surveillance avec une cohérence inter-espaces pour estimer conjointement l'occupation dans les espaces posés et canoniques. Enfin, nous utilisons des réseaux de traduction d'image à image pour affiner davantage la géométrie détaillée et la texture sur la surface reconstruite, ce qui améliore la fidélité et la cohérence à travers toutes les vues possibles. Dans les expériences, nous démontrons des améliorations par rapport à l'état de l'art, tant sur les bancs d'essai publics que dans les études utilisateurs en termes de qualité de reconstruction et de réalisme.