SPiKE : Pose humaine 3D à partir de séquences de nuages de points

L'estimation de la posture humaine en 3D (HPE) est la tâche de localiser les points clés du corps humain dans l'espace 3D à partir de représentations 2D ou 3D telles que des images RGB, des cartes de profondeur ou des nuages de points. Les méthodes actuelles d'HPE à partir de cartes de profondeur et de nuages de points reposent principalement sur l'estimation mono-image et ne tirent pas parti des informations temporelles contenues dans les séquences. Cet article présente SPiKE, une nouvelle approche pour l'estimation de la posture humaine en 3D utilisant des séquences de nuages de points. Contrairement aux méthodes existantes qui traitent les images d'une séquence indépendamment, SPiKE exploite le contexte temporel en adoptant une architecture Transformer pour encoder les relations spatio-temporelles entre les points tout au long de la séquence. En segmentant le nuage de points en volumes locaux et en utilisant l'extraction de caractéristiques spatiales par convolution spatiale des points, SPiKE garantit un traitement efficace par le Transformer tout en préservant l'intégrité spatiale à chaque timestamp. Des expériences menées sur le benchmark ITOP pour l'estimation de la posture humaine en 3D montrent que SPiKE atteint un mAP de 89,19 %, réalisant ainsi des performances d'état de l'art avec des temps d'inférence considérablement plus faibles. De nombreuses analyses ablatives viennent également valider l'efficacité de l'exploitation des séquences et nos choix algorithmiques. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/iballester/SPiKE