Command Palette
Search for a command to run...
A2J : Réseau de régression Anchor-to-Joint pour l’estimation de la pose articulée 3D à partir d’une seule image de profondeur
A2J : Réseau de régression Anchor-to-Joint pour l’estimation de la pose articulée 3D à partir d’une seule image de profondeur
Fu Xiong extsuperscript1* Boshen Zhang extsuperscript1* Yang Xiao extsuperscript1† Zhiguo Cao extsuperscript1 Taidong Yu extsuperscript1 Joey Tianyi Zhou extsuperscript2 Junsong Yuan extsuperscript3
Résumé
Pour la tâche d'estimation de la posture des mains et du corps dans les images de profondeur, une nouvelle approche basée sur des ancres, appelée réseau de régression Anchor-to-Joint (A2J), doté d'une capacité d'apprentissage de bout en bout, est proposée. Dans le cadre de l'A2J, des points d'ancre capables de capturer des informations contextuelles spatiales globales et locales sont disposés de manière dense sur l'image de profondeur comme des régresseurs locaux pour les articulations. Ils contribuent à prédire les positions des articulations de manière collective pour améliorer la capacité de généralisation. Le paradigme proposé d'estimation de la posture articulée en 3D diffère des méthodes actuelles basées sur un encodeur-décodeur telles que les réseaux FCN, les 3D CNN et les méthodes basées sur des ensembles de points. Pour identifier les points d'ancre informatifs en direction d'une certaine articulation, une procédure de proposition d'ancres est également proposée pour l'A2J. Parallèlement, un réseau 2D CNN (à savoir ResNet-50) est utilisé comme réseau principal pour piloter l'A2J, sans recourir aux couches convolutionnelles ou déconvolutionnelles 3D qui sont coûteuses en temps. Les expériences menées sur trois jeux de données de mains et deux jeux de données corporels confirment la supériorité de l'A2J. De plus, l'A2J atteint une vitesse d'exécution élevée d'environ 100 FPS sur une seule GPU NVIDIA 1080Ti.