Estimation de la posture 3D humaine par fusion vidéo et capteurs inertiels

Nous présentons un algorithme de fusion de données vidéo à plusieurs points de vue (MVV, multi-viewpoint video) et de capteurs d’unité de mesure inertielle (IMU) pour estimer avec précision la posture 3D d’un être humain. Un réseau de neurones convolutif 3D est utilisé pour apprendre une représentation de posture à partir de données volumétriques probabilistes de coque visuelle (PVH, probabilistic visual hull), issues des images MVV. Ce modèle est intégré dans un réseau à deux voies, combinant les représentations de posture extraites de la MVV et une résolution cinématique avant des données IMU. Un modèle temporel (LSTM) est incorporé dans chacune des deux voies avant leur fusion. L’inférence hybride de posture basée sur ces deux sources de données complémentaires permet de résoudre les ambiguïtés propres à chaque modalité sensorielle, conduisant à une précision supérieure aux méthodes antérieures. Une autre contribution de ce travail est la mise à disposition d’un nouveau jeu de données hybride MVV (TotalCapture), comprenant des vidéos, des données IMU et une vérité terrain en jointures squelettiques obtenue à partir d’un système commercial de capture de mouvement. Ce jeu de données est accessible en ligne à l’adresse http://cvssp.org/data/totalcapture/