HyperAIHyperAI
il y a 2 mois

SkelFormer : Estimation de la pose et de la forme 3D sans marqueurs à l'aide de transformateurs squelettiques

Davoodnia, Vandad ; Ghorbani, Saeed ; Messier, Alexandre ; Etemad, Ali
SkelFormer : Estimation de la pose et de la forme 3D sans marqueurs à l'aide de transformateurs squelettiques
Résumé

Nous présentons SkelFormer, une nouvelle chaîne de traitement pour la capture de mouvement sans marqueur, destinée à l'estimation de la posture et de la forme humaine multi-vue. Notre méthode utilise d'abord des estimateurs de points clés 2D pré-entraînés sur de grandes bases de données en conditions réelles pour obtenir les positions des articulations en 3D. Ensuite, nous concevons un transformateur squelettique basé sur la régression qui mappe les positions des articulations vers des représentations de posture et de forme à partir d'observations fortement bruitées. Ce module intègre des connaissances a priori sur l'espace de posture et infère l'état complet de la posture en temps réel.En séparant le problème de détection des points clés 3D du problème d'analyse cinématique inverse, ainsi qu'en utilisant les représentations expressives apprises par notre transformateur squelettique, nous améliorons la généralisation de notre méthode aux données bruitées inédites. Nous évaluons notre méthode sur trois jeux de données publics dans des configurations tant in-distribution qu'out-of-distribution, observant une performance élevée par rapport aux travaux antérieurs. De plus, les expériences d'ablation démontrent l'influence de chaque module de notre architecture.Enfin, nous analysons la performance de notre méthode face au bruit et aux occlusions importantes et constatons une robustesse considérable par rapport aux autres solutions.