FrankMocap : un système de estimation 3D de la posture du corps entier à partir d'une seule vue par régression et intégration

La plupart des approches existantes d’estimation de pose 3D monoculaire se concentrent uniquement sur une seule partie du corps, en négligeant le fait que les nuances essentielles du mouvement humain sont exprimées par une coordination subtile des mouvements du visage, des mains et du corps. Dans ce papier, nous présentons FrankMocap, un système rapide et précis d’estimation de pose 3D du corps entier capable de produire simultanément une reconstruction 3D du visage, des mains et du corps à partir d’images monochromatiques prises dans des environnements réels (in-the-wild). L’idée centrale de FrankMocap réside dans sa conception modulaire : nous appliquons d’abord des méthodes de régression de pose 3D pour le visage, les mains et le corps de manière indépendante, puis nous combinons les sorties de ces régressions à l’aide d’un module d’intégration. Les modules de régression séparés nous permettent d’exploiter pleinement les performances de pointe de chacun d’eux, sans compromettre l’exactitude et la fiabilité initiales en pratique. Nous avons développé trois modules d’intégration distincts, offrant différents compromis entre latence et précision. Tous ces modules fournissent des solutions simples mais efficaces pour fusionner les sorties indépendantes en une estimation cohérente et fluide de la pose du corps entier. Nous démontrons de manière quantitative et qualitative que notre système modulaire surpasser les méthodes basées sur l’optimisation ainsi que les approches end-to-end pour l’estimation de la pose du corps entier.