SHPR-Net : Régression sémantique profonde de la posture de la main à partir de nuages de points

L'estimation de la pose de la main en 3D constitue un problème fondamental pour l'interaction homme-machine. La plupart des méthodes existantes basées sur la profondeur pour l'estimation de la pose de la main exploitent une carte de profondeur 2D ou un volume 3D via des réseaux neuronaux convolutifs (CNN) 2D ou 3D. Dans cet article, nous proposons un réseau profond de régression de la pose de la main sémantique (SHPR-Net) pour l'estimation de la pose à partir d'ensembles de points, composé de deux sous-réseaux : un sous-réseau de segmentation sémantique et un sous-réseau de régression de la pose. Le réseau de segmentation sémantique attribue des étiquettes sémantiques à chaque point de l'ensemble. Le réseau de régression de la pose intègre les connaissances a priori sémantiques à la fois par une fusion précoce et une fusion tardive, et prédit la pose finale de la main. Deux matrices de transformation sont apprises à partir de l'ensemble de points et appliquées respectivement pour transformer le nuage de points d'entrée et inverser la transformation de la pose de sortie, ce qui rend le SHPR-Net plus robuste aux transformations géométriques. Des expériences menées sur les jeux de données NYU, ICVL et MSRA pour l'estimation de la pose de la main démontrent que notre SHPR-Net atteint des performances élevées, comparables aux méthodes les plus avancées de l'état de l'art. Nous montrons également que notre méthode peut être naturellement étendue à l'estimation de la pose de la main à partir de données de profondeur multi-vues, et qu'elle permet une amélioration supplémentaire sur le jeu de données NYU.