Command Palette
Search for a command to run...
Vers une estimation de la posture 3D de l’humain dans le monde réel : une approche faiblement supervisée
Vers une estimation de la posture 3D de l’humain dans le monde réel : une approche faiblement supervisée
Zhou Xingyi Huang Qixing Sun Xiao Xue Xiangyang Wei Yichen
Résumé
Dans cet article, nous étudions la tâche d’estimation de la posture 3D d’un être humain dans des environnements réels (« in the wild »). Cette tâche est particulièrement difficile en raison du manque de données d’entraînement, les jeux de données existants étant soit des images prises dans des environnements réels avec des étiquettes 2D, soit des images en laboratoire avec des étiquettes 3D.Nous proposons une méthode d’apprentissage par transfert faiblement supervisée qui utilise simultanément des étiquettes 2D et 3D dans un réseau neuronal profond unifié présentant une architecture en cascade à deux étapes. Notre réseau complète un sous-réseau d’estimation de posture 2D de pointe par un sous-réseau de régression de profondeur 3D. Contrairement aux approches précédentes à deux étapes, qui entraînent les deux sous-réseaux de manière séquentielle et indépendante, notre méthode permet un entraînement end-to-end et exploite pleinement les corrélations entre les tâches d’estimation de posture 2D et de profondeur. Les caractéristiques profondes sont ainsi mieux apprises grâce à des représentations partagées. Grâce à cette approche, les étiquettes de posture 3D obtenues dans des environnements contrôlés de laboratoire peuvent être transférées aux images prises dans des environnements réels. En outre, nous introduisons une contrainte géométrique 3D pour régulariser la prédiction de posture 3D, ce qui s’avère particulièrement efficace en l’absence d’étiquettes de profondeur réelles. Notre méthode obtient des résultats compétitifs sur les benchmarks 2D et 3D.