Supervision de profondeur ordinale pour l’estimation de la posture humaine en 3D

Notre capacité à entraîner des systèmes de bout en bout pour l'estimation de la posture humaine 3D à partir d'images uniques est actuellement limitée par la disponibilité restreinte d'annotations 3D pour les images naturelles. La plupart des jeux de données sont capturés à l'aide de systèmes de capture de mouvement (MoCap) dans un environnement de studio, et il est difficile d'atteindre la variabilité des jeux de données sur la posture humaine 2D, tels que MPII ou LSP. Pour atténuer le besoin d'une vérité terrain 3D précise, nous proposons d'utiliser un signal de supervision plus faible fourni par les profondeurs ordinales des articulations humaines. Ces informations peuvent être acquises par des annotateurs humains pour une large gamme d'images et de postures. Nous démontrons l'efficacité et la flexibilité de l'entraînement de réseaux convolutifs (ConvNets) avec ces relations ordinales dans différents contextes, toujours obtenant des performances compétitives comparables à celles des ConvNets entraînés avec des coordonnées 3D précises des articulations. De plus, pour illustrer le potentiel de cette approche, nous enrichissons les jeux de données populaires LSP et MPII avec des annotations de profondeur ordinales. Cette extension nous permet de présenter une évaluation quantitative et qualitative dans des conditions hors studio. En même temps, ces annotations ordinales peuvent être facilement intégrées dans la procédure d'entraînement des ConvNets typiques pour l'estimation de la posture humaine 3D. Grâce à cette intégration, nous atteignons une nouvelle performance record pour les benchmarks pertinents et validons l'efficacité de la supervision par profondeur ordinale pour l'estimation de la posture humaine 3D.