LiDARCap : Capture tridimensionnelle du mouvement humain à longue portée sans marqueurs à l’aide de nuages de points LiDAR

Les jeux de données existants de capture de mouvement sont principalement à courte portée et ne répondent pas encore aux besoins des applications à longue portée. Nous proposons LiDARHuman26M, un nouveau jeu de données de capture de mouvement humain acquis par LiDAR à une portée beaucoup plus grande afin de surmonter cette limitation. Notre jeu de données inclut également les mouvements réels du corps humain obtenus via un système IMU ainsi que des images RGB synchronisées. Nous présentons par ailleurs une méthode de base robuste, nommée LiDARCap, pour la capture de mouvement humain à partir de nuages de points LiDAR. Plus précisément, nous utilisons d’abord PointNet++ pour encoder les caractéristiques des points, puis appliquons un solveur d’inverse kinematics combiné à un optimiseur SMPL afin de prédire la posture en agrégant hiérarchiquement les caractéristiques temporellement encodées. Des expériences quantitatives et qualitatives montrent que notre méthode surpasser les approches basées uniquement sur des images RGB. Des études d’ablation démontrent que notre jeu de données est exigeant et mérite une recherche approfondie. Enfin, les expériences menées sur les jeux de données KITTI et Waymo Open Dataset indiquent que notre méthode est généralisable à différentes configurations de capteurs LiDAR.