Command Palette
Search for a command to run...
Mo2Cap2 : Captage 3D en temps réel de mouvement mobile à l’aide d’une caméra fish-eye montée sur casquette
Mo2Cap2 : Captage 3D en temps réel de mouvement mobile à l’aide d’une caméra fish-eye montée sur casquette
Résumé
Nous proposons la première approche en temps réel pour l’estimation egocentrique de la posture 3D du corps humain dans une large variété d’activités quotidiennes non contraintes. Ce cadre présente un ensemble de défis particuliers, tels que la mobilité du matériel utilisé, ainsi que la robustesse aux séances de capture prolongées, avec une récupération rapide en cas d’échec du suivi. Nous relevons ces défis grâce à une nouvelle configuration légère, qui transforme un chapeau de baseball standard en un dispositif d’estimation de posture de haute qualité, basé sur une seule caméra fisheye montée sur le chapeau. À partir du flux vidéo en temps réel capté depuis une perspective egocentrique, notre méthode d’estimation 3D de posture, fondée sur un réseau de neurones convolutifs (CNN), fonctionne à 60 Hz sur une carte graphique de niveau grand public. En plus de cette nouvelle configuration matérielle, nos principales contributions sont les suivantes : 1) un important corpus d’apprentissage étiqueté (ground truth) constitué d’images fisheye vues de haut, et 2) une nouvelle approche d’estimation 3D de posture déconnectée (disentangled), prenant en compte les propriétés spécifiques de la perspective egocentrique. Comme le montre notre évaluation, nous obtenons un erreur 3D aux articulations plus faible, ainsi qu’une superposition 2D améliorée par rapport aux méthodes de référence existantes.