Vers l'estimation de la pose humaine en 3D dans des conditions réelles : une approche faiblement supervisée

Dans cet article, nous étudions la tâche d'estimation de la posture humaine en 3D dans des conditions réelles.Cette tâche est particulièrement ardue en raison du manque de données d'entraînement, car les jeux de données existants sont soit des images prises dans des conditions réelles avec des postures en 2D, soit des images de laboratoire avec des postures en 3D.Nous proposons une méthode d'apprentissage par transfert faiblement supervisée qui utilise des étiquettes mixtes 2D et 3D dans un réseau neuronal profond présentant une structure en cascade à deux étapes. Notre réseau améliore un sous-réseau d'estimation de posture en 2D de pointe avec un sous-réseau de régression de profondeur en 3D. Contrairement aux approches précédentes à deux étapes qui entraînent les deux sous-réseaux séquentiellement et séparément, notre entraînement est réalisé de bout en bout et exploite pleinement la corrélation entre les sous-tâches d'estimation de posture en 2D et de profondeur. Les caractéristiques profondes sont mieux apprises grâce à des représentations partagées. De cette manière, les étiquettes de posture en 3D obtenues dans des environnements contrôlés de laboratoire sont transférées aux images prises dans des conditions réelles. De plus, nous introduisons une contrainte géométrique en 3D pour régulariser la prédiction de la posture en 3D, ce qui s'avère efficace en l'absence d'étiquettes de profondeur véritables (ground truth). Notre méthode obtient des résultats compétitifs sur les bancs d'essai tant en 2D qu'en 3D.