Régression de maillage 3D humain avec correspondance dense

L’estimation de la maillage 3D du corps humain à partir d’une seule image 2D est une tâche importante, aux nombreuses applications telles que la réalité augmentée ou l’interaction homme-robot. Toutefois, les travaux antérieurs reconstruisaient le maillage 3D à partir de caractéristiques globales extraites de l’image par un réseau neuronal à convolution (CNN), où les correspondances denses entre la surface du maillage et les pixels de l’image étaient absentes, entraînant une solution sous-optimale. Ce papier propose un cadre d’estimation de maillage humain 3D sans modèle, nommé DecoMR, qui établit explicitement les correspondances denses entre le maillage et les caractéristiques locales de l’image dans l’espace UV (c’est-à-dire un espace 2D utilisé pour le mapping de textures sur un maillage 3D). DecoMR prédit d’abord une carte de correspondance dense pixel-to-surface (c’est-à-dire une image IUV), grâce à laquelle nous transférons les caractéristiques locales de l’espace image vers l’espace UV. Ensuite, ces caractéristiques image locales transférées sont traitées dans l’espace UV afin de prédire une carte de localisation bien alignée avec les caractéristiques transférées. Enfin, le maillage 3D humain est reconstruit à partir de cette carte de localisation prédite via une fonction de correspondance prédéfinie. Nous observons également que les cartes UV discontinues existantes sont peu propices à l’apprentissage du réseau. Par conséquent, nous proposons une nouvelle carte UV qui préserve la majorité des relations de voisinage présentes sur la surface initiale du maillage. Les expériences montrent que notre approche d’alignement local des caractéristiques et notre carte UV continue surpassent les méthodes existantes basées sur le maillage 3D sur plusieurs benchmarks publics. Le code sera rendu disponible à l’adresse suivante : https://github.com/zengwang430521/DecoMR