MeTRAbs : Heatmaps à échelle métrique robustes aux troncatures pour l'estimation absolue de la pose 3D humaine

Les représentations par cartes de chaleur (heatmaps) ont constitué la base des systèmes d'estimation de posture humaine pendant de nombreuses années, et leur extension à la dimension 3D a été une voie de recherche fructueuse récemment. Cela inclut les cartes de chaleur volumiques 2.5D, dont les axes X et Y correspondent à l'espace image et l'axe Z à la profondeur métrique autour du sujet. Pour obtenir des prédictions à l'échelle métrique, les méthodes 2.5D nécessitent une étape de post-traitement séparée pour résoudre l'ambiguïté d'échelle. De plus, elles ne peuvent pas localiser les articulations corporelles en dehors des limites de l'image, ce qui entraîne des estimations incomplètes pour les images tronquées. Afin de surmonter ces limitations, nous proposons des cartes de chaleur volumiques robustes à la troncature et définies à l'échelle métrique (MeTRo), dont toutes les dimensions sont définies dans l'espace 3D métrique, plutôt que d'être alignées avec l'espace image. Cette réinterprétation des dimensions des cartes de chaleur nous permet d'estimer directement des postures complètes et à échelle métrique sans connaître la distance au moment du test ou sans recourir à des heuristiques anthropométriques telles que les longueurs osseuses. Pour démontrer davantage l'utilité de notre représentation, nous présentons une combinaison différentiable entre nos cartes de chaleur 3D à échelle métrique et celles en espace image 2D afin d'estimer la posture 3D absolue (notre architecture MeTRAbs). Nous constatons que la supervision par perte absolue de posture est cruciale pour une localisation précise non relative au point d'ancrage. En utilisant un squelette ResNet-50 sans couches apprises supplémentaires, nous obtenons des résultats d'état de l'art sur Human3.6M, MPI-INF-3DHP et MuPoTS-3D. Notre code sera rendu publiquement disponible pour faciliter des recherches ultérieures.