Estimation précise de la posture 3D de la main pour l'estimation du maillage 3D humain complet

L’estimation de maillage 3D humain à l’échelle du corps entier vise à reconstruire simultanément le corps humain, les mains et le visage en 3D. Bien que plusieurs méthodes aient été proposées, la prédiction précise des mains 3D – composées du poignet et des doigts – reste un défi en raison de deux raisons principales. Premièrement, la chaîne cinématique humaine n’a pas été suffisamment prise en compte lors de la prédiction des poignets 3D. Deuxièmement, les travaux antérieurs utilisent des caractéristiques du corps pour prédire les rotations des doigts 3D, or ces caractéristiques corporelles contiennent très peu d’informations relatives aux doigts. Pour surmonter ces limitations, nous proposons Hand4Whole, qui présente deux avantages significatifs par rapport aux approches antérieures. Premièrement, nous avons conçu Pose2Pose, un module qui exploite les caractéristiques des articulations pour prédire les rotations des articulations 3D. Grâce à Pose2Pose, Hand4Whole utilise les caractéristiques des articulations métacarpo-phalangiennes (MCP) des mains afin de prédire les poignets 3D, car ces articulations MCP jouent un rôle majeur dans les rotations du poignet dans la chaîne cinématique humaine. Deuxièmement, Hand4Whole élimine l’utilisation des caractéristiques corporelles lors de la prédiction des rotations des doigts 3D. Hand4Whole est entraîné de manière end-to-end et produit des résultats 3D pour les mains nettement supérieurs à ceux des méthodes précédentes d’estimation de maillage 3D humain à l’échelle du corps entier. Le code source est disponible à l’adresse suivante : https://github.com/mks0601/Hand4Whole_RELEASE.