MotionAGFormer : Amélioration de l'estimation de la pose humaine 3D avec un réseau Transformer-GCNFormer

Les approches récentes basées sur les transformateurs ont démontré des performances excellentes dans l'estimation de la posture humaine en 3D. Cependant, elles adoptent une vue holistique et, en codant les relations globales entre tous les articulations, elles ne capturent pas précisément les dépendances locales. Dans cet article, nous présentons un nouveau bloc Attention-GCNFormer (AGFormer) qui divise le nombre de canaux en utilisant deux flux parallèles de transformateur et de GCNFormer. Notre module GCNFormer proposé exploite la relation locale entre les articulations adjacentes, produisant une nouvelle représentation complémentaire à celle du transformateur. En fusionnant ces deux représentations de manière adaptative, AGFormer montre une meilleure capacité à apprendre la structure sous-jacente en 3D. En empilant plusieurs blocs AGFormer, nous proposons MotionAGFormer en quatre variantes différentes, qui peuvent être choisies en fonction du compromis vitesse-précision. Nous évaluons notre modèle sur deux jeux de données de référence populaires : Human3.6M et MPI-INF-3DHP. MotionAGFormer-B obtient des résultats d'état de l'art, avec des erreurs P1 respectivement de 38,4 mm et 16,2 mm. Remarquablement, il utilise un quart des paramètres et est trois fois plus efficace sur le plan computationnel que le modèle précédent leader sur le jeu de données Human3.6M. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/TaatiTeam/MotionAGFormer.