HyperAIHyperAI

Command Palette

Search for a command to run...

Régression de maillage 3D humain avec correspondance dense

Wang Zeng Wanli Ouyang Ping Luo Wentao Liu Xiaogang Wang

Résumé

L’estimation de la maillage 3D du corps humain à partir d’une seule image 2D est une tâche importante, aux nombreuses applications telles que la réalité augmentée ou l’interaction homme-robot. Toutefois, les travaux antérieurs reconstruisaient le maillage 3D à partir de caractéristiques globales extraites de l’image par un réseau neuronal à convolution (CNN), où les correspondances denses entre la surface du maillage et les pixels de l’image étaient absentes, entraînant une solution sous-optimale. Ce papier propose un cadre d’estimation de maillage humain 3D sans modèle, nommé DecoMR, qui établit explicitement les correspondances denses entre le maillage et les caractéristiques locales de l’image dans l’espace UV (c’est-à-dire un espace 2D utilisé pour le mapping de textures sur un maillage 3D). DecoMR prédit d’abord une carte de correspondance dense pixel-to-surface (c’est-à-dire une image IUV), grâce à laquelle nous transférons les caractéristiques locales de l’espace image vers l’espace UV. Ensuite, ces caractéristiques image locales transférées sont traitées dans l’espace UV afin de prédire une carte de localisation bien alignée avec les caractéristiques transférées. Enfin, le maillage 3D humain est reconstruit à partir de cette carte de localisation prédite via une fonction de correspondance prédéfinie. Nous observons également que les cartes UV discontinues existantes sont peu propices à l’apprentissage du réseau. Par conséquent, nous proposons une nouvelle carte UV qui préserve la majorité des relations de voisinage présentes sur la surface initiale du maillage. Les expériences montrent que notre approche d’alignement local des caractéristiques et notre carte UV continue surpassent les méthodes existantes basées sur le maillage 3D sur plusieurs benchmarks publics. Le code sera rendu disponible à l’adresse suivante : https://github.com/zengwang430521/DecoMR


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp