HyperAIHyperAI

Command Palette

Search for a command to run...

Reconnaissance de la marche dans des conditions réelles avec des représentations 3D denses et un benchmark

Zheng Jinkai ; Liu Xinchen ; Liu Wu ; He Lingxiao ; Yan Chenggang ; Mei Tao

Résumé

Les études existantes en reconnaissance de la démarche sont dominées par des représentations 2D, telles que la silhouette ou le squelette du corps humain dans des scènes contraintes. Cependant, les humains vivent et marchent dans l'espace 3D non contraint, donc projeter le corps humain 3D sur un plan 2D entraîne la perte d'informations cruciales comme le point de vue, la forme et la dynamique pour la reconnaissance de la démarche. Par conséquent, cet article vise à explorer des représentations 3D denses pour la reconnaissance de la démarche dans des conditions réelles, un problème pratique mais négligé. Plus précisément, nous proposons un cadre novateur qui utilise le modèle 3D Skinned Multi-Person Linear (SMPL) du corps humain pour la reconnaissance de la démarche, appelé SMPLGait. Notre cadre comporte deux branches soigneusement conçues : l'une extrait des caractéristiques d'apparence à partir des silhouettes, tandis que l'autre apprend les connaissances relatives aux points de vue et aux formes 3D à partir du modèle SMPL 3D. De plus, en raison du manque de jeux de données appropriés, nous avons créé le premier grand jeu de données basé sur des représentations 3D pour la reconnaissance de la démarche, nommé Gait3D. Il contient 4 000 sujets et plus de 25 000 séquences extraites de 39 caméras dans une scène intérieure non contrainte. Plus important encore, il fournit des modèles SMPL 3D récupérés à partir des images vidéo, qui peuvent offrir des informations denses en 3D sur la forme du corps, le point de vue et la dynamique. À partir de Gait3D, nous comparons exhaustivement notre méthode avec les approches existantes en reconnaissance de la démarche, ce qui reflète les performances supérieures de notre cadre et le potentiel des représentations 3D pour la reconnaissance de la démarche dans des conditions réelles. Le code source et le jeu de données sont disponibles à l'adresse suivante : https://gait3d.github.io.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Reconnaissance de la marche dans des conditions réelles avec des représentations 3D denses et un benchmark | Articles | HyperAI