Reconstruction 3D d'humains vêtus dans des environnements non contrôlés

Bien que des progrès considérables aient été réalisés dans la reconstruction 3D d'humains vêtus, la plupart des méthodes existantes échouent à produire des résultats robustes à partir d'images prises en conditions réelles (in-the-wild), qui contiennent une grande diversité de poses et d'apparences humaines. Ceci est principalement dû au grand écart entre les ensembles de données d'entraînement et ceux en conditions réelles. Les ensembles de données d'entraînement sont généralement synthétiques, contenant des images rendues à partir de scans 3D de référence (GT). Cependant, ces ensembles de données présentent des poses humaines simples et des apparences moins naturelles par rapport aux images réelles prises en conditions réelles, ce qui rend leur généralisation aux images in-the-wild extrêmement difficile. Pour résoudre ce problème, nous proposons dans cette étude ClothWild, un cadre de reconstruction 3D d'humains vêtus qui aborde pour la première fois la robustesse sur les images in-the-wild. Premièrement, pour améliorer la robustesse face à l'écart entre les domaines, nous proposons une pipeline faiblement supervisée qui peut être entraînée avec des cibles de supervision 2D issues d'ensembles de données in-the-wild. Deuxièmement, nous concevons une fonction de perte basée sur DensePose afin de réduire les ambiguïtés liées à la supervision faible. Des tests empiriques approfondis sur plusieurs ensembles de données publics in-the-wild montrent que notre ClothWild proposé produit des résultats beaucoup plus précis et robustes que les méthodes actuelles les plus avancées. Le code source est disponible ici : https://github.com/hygenie1228/ClothWild_RELEASE.