La parcimonie rencontre la profondeur : estimation de la posture humaine 3D à partir d'une vidéo monoculaire

Ce travail aborde le défi de l'estimation de la posture humaine en 3D à partir d'une séquence d'images monoculaires. Deux cas sont considérés : (i) les positions des articulations humaines dans l'image sont fournies et (ii) les positions des articulations dans l'image sont inconnues. Dans le premier cas, une nouvelle approche est introduite qui intègre un a priori géométrique 3D guidé par la parcimonie et une régularité temporelle. Dans le second cas, le premier scénario est étendu en traitant les positions des articulations dans l'image comme des variables latentes. Un réseau neuronal convolutif profond et entièrement convolutionnel est formé pour prédire les cartes d'incertitude des positions 2D des articulations. Les estimations de la posture en 3D sont réalisées via un algorithme d'Expectation-Maximization sur toute la séquence, où il est démontré que les incertitudes sur les positions 2D des articulations peuvent être facilement marginalisées lors de l'inférence. Une évaluation empirique sur le jeu de données Human3.6M montre que les approches proposées atteignent une plus grande précision d'estimation de la posture en 3D par rapport aux méthodes de référence de pointe. De plus, l'approche proposée surpassent une méthode de référence publique d'estimation de la posture en 2D sur le jeu de données difficile PennAction.