(Fusionformer) : Exploiter la synergie motionnelle conjointe à l’aide d’un réseau de fusion basé sur Transformer pour l’estimation de la posture 3D humaine

Dans le cadre de la tâche actuelle d'estimation de la posture 3D humaine, un ensemble de méthodes apprend principalement les règles de projection 2D-3D à partir des corrélations spatiales et temporelles. Toutefois, les méthodes antérieures modélisent les caractéristiques globales de l'ensemble des articulations corporelles dans le domaine temporel, tout en ignorant les trajectoires de mouvement individuelles des articulations. Très récemment, le travail [29] a souligné les différences de mouvement entre différentes articulations et traite séparément les relations temporelles de chaque articulation. Toutefois, nous avons constaté que, dans certaines actions spécifiques, différentes articulations présentent des tendances de mouvement similaires. Ainsi, notre méthode proposée, Fusionformer, introduit un module d'auto-trajectoire et un module d'interaction-trajectoire basés sur un module spatio-temporel. Ensuite, les caractéristiques spatio-temporelles globales et les caractéristiques locales de trajectoire articulaire sont fusionnées par un réseau linéaire de manière parallèle. Afin d'éliminer l'influence des poses 2D de mauvaise qualité sur les projections 3D, nous introduisons également un réseau de raffinement de pose pour équilibrer la cohérence des projections 3D. En outre, nous évaluons la méthode proposée sur deux jeux de données standard (Human3.6M, MPI-INF-3DHP). En comparant notre méthode à la méthode de référence PoseFormer, les résultats montrent une amélioration de 2,4 % en MPJPE et de 4,3 % en P-MPJPE sur le jeu de données Human3.6M, respectivement.