Mo2Cap2 : Capture de mouvement 3D mobile en temps réel avec une caméra fisheye intégrée dans une casquette

Nous proposons la première approche en temps réel pour l'estimation égocentrée de la posture corporelle 3D d'un être humain dans une large gamme d'activités quotidiennes non contraintes. Ce cadre présente un ensemble unique de défis, tels que la mobilité du dispositif matériel et la robustesse lors de longues sessions de capture avec une récupération rapide après les échecs de suivi. Nous relevons ces défis grâce à un nouveau dispositif léger qui transforme une casquette de baseball standard en un appareil pour l'estimation de haute qualité de la posture basée sur une seule caméra fisheye fixée sur la casquette. À partir du flux vidéo égocentré capturé, notre approche d'estimation 3D de la posture basée sur un CNN fonctionne à 60 Hz sur une carte graphique grand public. En plus du nouveau dispositif matériel, nos autres contributions principales sont : 1) un vaste corpus d'entraînement contenant des images vérité-terrain prises par le haut avec une caméra fisheye, et 2) une nouvelle approche d'estimation 3D de la posture décorrélée qui prend en compte les propriétés uniques du point de vue égocentré. Comme le montre notre évaluation, nous obtenons des erreurs articulaires 3D plus faibles ainsi qu'une meilleure superposition 2D par rapport aux méthodes existantes utilisées comme référence.