Command Palette
Search for a command to run...
Exploitation des informations temporelles pour l'estimation de la posture 3D humaine
Exploitation des informations temporelles pour l'estimation de la posture 3D humaine
James J. Little Mir Rayat Imtiaz Hossain
Résumé
Dans ce travail, nous abordons le problème de l'estimation de la posture 3D d'un être humain à partir d'une séquence de postures 2D. Bien que les récents progrès des réseaux de neurones profonds aient conduit de nombreuses méthodes de pointe pour l'estimation de la posture 3D à entraîner des réseaux profonds de manière end-to-end afin de prédire directement à partir d'images, les approches les plus performantes ont démontré l'efficacité d'une approche en deux étapes : utiliser un estimateur 2D d'avant-garde pour estimer la posture 2D à partir des images, puis la mapper dans l'espace 3D. Elles ont également montré qu'une représentation à faible dimension, comme les positions 2D d'un ensemble de joints, peut être suffisamment discriminante pour estimer la posture 3D avec une grande précision. Toutefois, l'estimation de la posture 3D pour chaque trame individuelle conduit à des estimations temporellement incohérentes, en raison des erreurs indépendantes sur chaque trame qui engendrent un effet de "tremblement". Par conséquent, dans ce travail, nous exploitons les informations temporelles contenues dans une séquence de positions 2D des joints afin d'estimer une séquence de postures 3D. Nous avons conçu un réseau séquence-à-séquence composé d'unités LSTM normalisées par couche, munies de connexions directes (shortcut connections) reliant l'entrée à la sortie du décodeur, et imposé une contrainte de lissage temporel durant l'entraînement. Nous avons constaté que la prise en compte de la cohérence temporelle améliore le meilleur résultat rapporté sur le jeu de données Human3.6M d'environ 12,2 %, et permet à notre réseau de reconstruire des postures 3D cohérentes dans le temps sur une séquence d'images, même lorsque le détecteur de posture 2D échoue.