Estimation heuristique de la pose humaine 3D faiblement supervisée

L'estimation monulaire de la posture humaine 3D à partir d'images RGB a suscité une attention considérable ces dernières années. Cependant, les modèles récents dépendent d'un entraînement supervisé avec des données de vérité terrain en 3D ou des poses a priori connues pour leurs domaines cibles. Les données de posture 3D sont généralement collectées à l'aide de dispositifs de capture de mouvement, ce qui limite considérablement leur applicabilité. Dans cet article, nous présentons une solution heuristique faiblement supervisée pour l'estimation de la posture humaine 3D (HW-HuP) permettant d'estimer des postures 3D lorsque aucune donnée de vérité terrain en 3D n'est disponible. HW-HuP apprend des poses partielles a priori à partir de jeux de données sur la posture humaine 3D et utilise des observations facilement accessibles du domaine cible pour estimer la posture et la forme humaines dans un cycle d'optimisation et de régression. Nous utilisons des données de profondeur pour une supervision faible lors de l'entraînement, mais pas lors de l'inférence. Nous montrons que HW-HuP améliore significativement les modèles d'avant-garde dans deux scénarios pratiques où les données de posture 3D sont difficilement obtenables : les postures humaines au lit et les postures d'enfants dans des conditions naturelles. De plus, nous démontrons que HW-HuP maintient une performance comparable à celle des modèles les plus avancés sur des benchmarks publics, même lorsque ces modèles sont entraînés avec des données de posture 3D.