Fusion d'IMUs portables avec des images multi-vues pour l'estimation de la posture humaine : une approche géométrique

Nous proposons une méthode pour estimer la posture humaine en 3D à partir d'images multi-vues et de quelques capteurs IMU (Unité de Mesure Inertielle) fixés aux membres d'une personne. Cette méthode fonctionne en détectant d'abord les postures en 2D à partir des deux signaux, puis en les projetant dans l'espace 3D. Nous présentons une approche géométrique pour renforcer les caractéristiques visuelles de chaque paire d'articulations en se basant sur les capteurs IMU. Cela améliore notablement la précision de l'estimation des postures en 2D, notamment lorsque l'une des articulations est occultée. Nous appelons cette approche le Réseau Régularisé par l'Orientation (ORN). Ensuite, nous projetons les postures en 2D multi-vues dans l'espace 3D à l'aide d'un Modèle Structurel Pictural Régularisé par l'Orientation (ORPSM), qui minimise conjointement l'erreur de projection entre les postures en 3D et en 2D, ainsi que la discordance entre la posture en 3D et les orientations des capteurs IMU. Cette approche simple en deux étapes réduit considérablement l'erreur par rapport à l'état de l'art sur un ensemble de données public. Notre code sera mis à disposition sur https://github.com/CHUNYUWANG/imu-human-pose-pytorch.