Numérisation 3D de haute fidélité d'humains à partir d'images uniques en résolution 2K

La reconstruction de haute qualité d'un corps humain en 3D nécessite des données d'entraînement de grande fidélité et à grande échelle, ainsi qu'une conception de réseau appropriée qui exploite efficacement les images d'entrée à haute résolution. Pour relever ces défis, nous proposons une méthode simple mais efficace de numérisation 3D du corps humain appelée 2K2K, qui construit un ensemble de données humaines à grande échelle de 2K et infère des modèles 3D humains à partir d'images de résolution 2K. La méthode proposée récupère séparément la forme globale d'un être humain et ses détails. Le réseau de profondeur à faible résolution prédit la structure globale à partir d'une image à faible résolution, tandis que le réseau image-to-normale par parties prédit les détails de la structure corporelle 3D. Le réseau de profondeur à haute résolution fusionne ensuite la forme 3D globale et les structures détaillées pour inférer les cartes de profondeur frontale et postérieure à haute résolution. Enfin, un générateur de maillage prêt à l'emploi reconstruit le modèle complet du corps humain en 3D, disponible sur https://github.com/SangHunHan92/2K2K. De plus, nous fournissons également 2 050 modèles 3D humains, incluant des cartes de texture, des articulations 3D et des paramètres SMPL (Shape Model Parameter Learning) pour des fins de recherche. Dans nos expériences, nous démontrons une performance compétitive par rapport aux travaux récents sur divers ensembles de données.