Exploitation de l'information temporelle pour l'estimation de la posture 3D

Dans cette étude, nous abordons le problème de l'estimation de la posture humaine en 3D à partir d'une séquence de postures humaines en 2D. Bien que le succès récent des réseaux profonds ait conduit de nombreuses méthodes de pointe pour l'estimation de la posture en 3D à former des réseaux profonds bout à bout afin de prédire directement à partir d'images, les approches les plus performantes ont démontré l'efficacité de diviser la tâche d'estimation de la posture en 3D en deux étapes : utiliser un estimateur de posture en 2D de pointe pour estimer la posture en 2D à partir d'images, puis mapper ces postures dans l'espace 3D. Elles ont également montré qu'une représentation basse dimensionnelle, comme les emplacements en 2D d'un ensemble d'articulations, peut être suffisamment discriminante pour estimer la posture en 3D avec une haute précision. Cependant, l'estimation de la posture en 3D pour chaque image individuelle entraîne des estimations temporellement incohérentes dues aux erreurs indépendantes dans chaque image, provoquant du brouillage (jitter). Par conséquent, dans cette étude, nous utilisons les informations temporelles au cours d'une séquence d'emplacements d'articulations en 2D pour estimer une séquence de postures en 3D. Nous avons conçu un réseau sequence-to-sequence composé d'unités LSTM normalisées par couche avec des connexions raccourcies reliant l'entrée à la sortie du côté du décodeur et imposé une contrainte de lissage temporel lors de l'apprentissage. Nous avons constaté que la connaissance de la cohérence temporelle améliore le meilleur résultat rapporté sur le jeu de données Human3.6M d'environ 12,2 % et aide notre réseau à reconstruire des postures en 3D temporellement cohérentes sur une séquence d'images même lorsque le détecteur de posture en 2D échoue.