Apprentissage de la posture humaine 3D faiblement supervisé à partir d'images multi-vues dans le monde réel

Un défi majeur pour l'estimation de la posture humaine 3D monoculaire en conditions réelles est l'acquisition de données d'entraînement contenant des images non contraintes annotées avec des postures 3D précises. Dans cet article, nous abordons ce défi en proposant une approche faiblement supervisée qui ne nécessite pas d'annotations 3D et apprend à estimer les postures 3D à partir de données multivues non étiquetées, qui peuvent être facilement acquises dans des environnements en conditions réelles. Nous proposons un nouveau cadre d'apprentissage de bout en bout qui permet une formation faiblement supervisée en utilisant la cohérence multivue. Étant donné que la cohérence multivue est sujette à des solutions dégénérées, nous adoptons une représentation de posture 2.5D et proposons une nouvelle fonction objectif qui ne peut être minimisée que lorsque les prédictions du modèle entraîné sont cohérentes et plausibles sur toutes les vues caméra. Nous évaluons notre approche proposée sur deux grands ensembles de données (Human3.6M et MPII-INF-3DHP) où elle atteint des performances de pointe parmi les méthodes semi-/faiblement supervisées.