Apprendre à Affiner l'Estimation de la Posture Humaine

L'estimation de la posture de plusieurs personnes dans des images et des vidéos est une tâche importante mais complexe, avec de nombreuses applications. Bien que les grands progrès réalisés dans l'estimation de la posture humaine grâce au développement des réseaux neuronaux convolutifs aient permis d'améliorer considérablement les performances, il existe encore de nombreux cas difficiles où même les modèles les plus avancés échouent à localiser correctement tous les articulations du corps. Cela motive la nécessité d'une étape supplémentaire de raffinement qui permet d'aborder ces cas complexes et peut être facilement appliquée sur n'importe quelle méthode existante. Dans ce travail, nous présentons un réseau de raffinement de la posture (PoseRefiner) qui prend en entrée à la fois l'image et une estimation de la posture donnée, et apprend à prédire directement une posture affinée en raisonnant conjointement sur l'espace d'entrée-sortie. Pour permettre au réseau d'apprendre à raffiner les prédictions incorrectes des articulations du corps, nous utilisons un nouveau schéma d'augmentation des données pour l'entraînement, où nous modélisons des cas de postures humaines "difficiles". Nous évaluons notre approche sur quatre benchmarks populaires d'estimation de la posture à grande échelle, tels que MPII Estimation de la Posture Simple et Multiple, PoseTrack Estimation de la Posture, et PoseTrack Suivi de la Posture, et rapportons une amélioration systématique par rapport à l'état de l'art.