Apprentissage de la posture humaine 3D à partir de la structure et du mouvement

L'estimation de la posture humaine en 3D à partir d'une seule image est un problème complexe, particulièrement dans des conditions naturelles (in-the-wild) en raison du manque de données annotées en 3D. Nous proposons deux fonctions de perte inspirées par l'anatomie et les utilisons dans un cadre d'apprentissage faiblement supervisé pour apprendre conjointement à partir de grandes échelles de données 2D naturelles et de données 3D intérieures/synthétiques. Nous présentons également un réseau temporel simple qui exploite les indices temporels et structurels présents dans les séquences de postures prédites pour harmoniser temporellement les estimations de posture. Nous analysons soigneusement les contributions proposées grâce à des visualisations des surfaces de perte et à une analyse de sensibilité afin de faciliter une compréhension plus approfondie de leur mécanisme opératoire. Notre pipeline complet améliore l'état de l'art de 11,8 % et 12 % sur Human3.6M et MPI-INF-3DHP, respectivement, et fonctionne à 30 images par seconde sur une carte graphique standard.