I2UV-HandNet : Réseau de prédiction Image-to-UV pour une modélisation de maillage 3D de main précise et à haute fidélité

La reconstruction d’une main humaine 3D à haute précision et à haute fidélité à partir d’une image couleur joue un rôle central dans la reproduction d’une main virtuelle réaliste dans les applications d’interaction homme-machine et de réalité virtuelle. Les méthodes actuelles peinent à atteindre une précision et une fidélité satisfaisantes en raison des diverses poses de la main et des occlusions sévères. Dans cette étude, nous proposons un modèle I2UV-HandNet pour une estimation précise de la pose et de la forme de la main ainsi que pour une reconstruction super-résolution 3D de la main. Plus précisément, nous introduisons la première représentation 3D de la forme de la main basée sur les coordonnées UV. Pour reconstruire une maillage 3D de la main à partir d’une image RGB, nous concevons un AffineNet capable de prédire une carte de position UV à partir de l’entrée, selon une approche de traduction image à image. Afin d’obtenir une forme à plus haute fidélité, nous exploitons un réseau supplémentaire, SRNet, pour transformer la carte UV de faible résolution produite par AffineNet en une carte haute résolution. Pour la première fois, nous démontrons la capacité de caractérisation de la représentation de la forme de la main basée sur les coordonnées UV. Nos expériences montrent que la méthode proposée atteint un niveau d’performance de pointe sur plusieurs benchmarks exigeants.