HyperAIHyperAI

Command Palette

Search for a command to run...

(Fusionformer) : Exploiter la synergie motionnelle conjointe à l’aide d’un réseau de fusion basé sur Transformer pour l’estimation de la posture 3D humaine

Xinwei Yu Xiaohua Zhang

Résumé

Dans le cadre de la tâche actuelle d'estimation de la posture 3D humaine, un ensemble de méthodes apprend principalement les règles de projection 2D-3D à partir des corrélations spatiales et temporelles. Toutefois, les méthodes antérieures modélisent les caractéristiques globales de l'ensemble des articulations corporelles dans le domaine temporel, tout en ignorant les trajectoires de mouvement individuelles des articulations. Très récemment, le travail [29] a souligné les différences de mouvement entre différentes articulations et traite séparément les relations temporelles de chaque articulation. Toutefois, nous avons constaté que, dans certaines actions spécifiques, différentes articulations présentent des tendances de mouvement similaires. Ainsi, notre méthode proposée, Fusionformer, introduit un module d'auto-trajectoire et un module d'interaction-trajectoire basés sur un module spatio-temporel. Ensuite, les caractéristiques spatio-temporelles globales et les caractéristiques locales de trajectoire articulaire sont fusionnées par un réseau linéaire de manière parallèle. Afin d'éliminer l'influence des poses 2D de mauvaise qualité sur les projections 3D, nous introduisons également un réseau de raffinement de pose pour équilibrer la cohérence des projections 3D. En outre, nous évaluons la méthode proposée sur deux jeux de données standard (Human3.6M, MPI-INF-3DHP). En comparant notre méthode à la méthode de référence PoseFormer, les résultats montrent une amélioration de 2,4 % en MPJPE et de 4,3 % en P-MPJPE sur le jeu de données Human3.6M, respectivement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
(Fusionformer) : Exploiter la synergie motionnelle conjointe à l’aide d’un réseau de fusion basé sur Transformer pour l’estimation de la posture 3D humaine | Articles | HyperAI