DensePose : Estimation dense de la pose humaine dans des conditions réelles

Dans cette étude, nous établissons des correspondances denses entre une image RGB et une représentation basée sur la surface du corps humain, une tâche que nous appelons l'estimation de pose humaine dense. Nous commençons par collecter des correspondances denses pour 50 000 personnes présentes dans le dataset COCO en introduisant un pipeline d'annotation efficace. Nous utilisons ensuite notre dataset pour entraîner des systèmes basés sur les CNN (Convolutional Neural Networks) capables de fournir des correspondances denses « dans le monde réel », c'est-à-dire en présence de fonds, d'occlusions et de variations d'échelle. Nous améliorons l'efficacité de notre ensemble d'entraînement en formant un réseau d'« inpainting » qui peut combler les valeurs manquantes du groundtruth et nous rapportons des améliorations nettes par rapport aux meilleurs résultats obtenus précédemment. Nous expérimentons avec des réseaux entièrement convolutionnels et des modèles basés sur les régions, observant la supériorité de ces derniers ; nous améliorons encore la précision grâce à une cascade, obtenant ainsi un système capable de fournir des résultats très précis en temps réel. Des matériaux supplémentaires et des vidéos sont fournis sur la page du projet : http://densepose.org