Reconnaissance de la marche dans des conditions réelles avec des représentations 3D denses et un benchmark

Les études existantes en reconnaissance de la démarche sont dominées par des représentations 2D, telles que la silhouette ou le squelette du corps humain dans des scènes contraintes. Cependant, les humains vivent et marchent dans l'espace 3D non contraint, donc projeter le corps humain 3D sur un plan 2D entraîne la perte d'informations cruciales comme le point de vue, la forme et la dynamique pour la reconnaissance de la démarche. Par conséquent, cet article vise à explorer des représentations 3D denses pour la reconnaissance de la démarche dans des conditions réelles, un problème pratique mais négligé. Plus précisément, nous proposons un cadre novateur qui utilise le modèle 3D Skinned Multi-Person Linear (SMPL) du corps humain pour la reconnaissance de la démarche, appelé SMPLGait. Notre cadre comporte deux branches soigneusement conçues : l'une extrait des caractéristiques d'apparence à partir des silhouettes, tandis que l'autre apprend les connaissances relatives aux points de vue et aux formes 3D à partir du modèle SMPL 3D. De plus, en raison du manque de jeux de données appropriés, nous avons créé le premier grand jeu de données basé sur des représentations 3D pour la reconnaissance de la démarche, nommé Gait3D. Il contient 4 000 sujets et plus de 25 000 séquences extraites de 39 caméras dans une scène intérieure non contrainte. Plus important encore, il fournit des modèles SMPL 3D récupérés à partir des images vidéo, qui peuvent offrir des informations denses en 3D sur la forme du corps, le point de vue et la dynamique. À partir de Gait3D, nous comparons exhaustivement notre méthode avec les approches existantes en reconnaissance de la démarche, ce qui reflète les performances supérieures de notre cadre et le potentiel des représentations 3D pour la reconnaissance de la démarche dans des conditions réelles. Le code source et le jeu de données sont disponibles à l'adresse suivante : https://gait3d.github.io.