Estimation efficace de la posture humaine par nuage de points d'événements 3D

L'estimation de la posture humaine (HPE) basée sur des images RGB a connu un développement rapide grâce à l'apprentissage profond. Cependant, l'HPE basée sur des événements n'a pas encore été pleinement étudiée, ce qui laisse un grand potentiel pour les applications dans des scènes extrêmes et des conditions critiques en termes d'efficacité. Dans cet article, nous sommes les premiers à estimer directement la posture humaine 2D à partir d'un nuage de points d'événements 3D. Nous proposons une nouvelle représentation des événements, le nuage de points d'événements rasterisé, qui agrège les événements se trouvant à la même position au cours d'une petite tranche temporelle. Cette représentation maintient les caractéristiques 3D provenant de plusieurs indices statistiques et réduit considérablement la consommation mémoire et la complexité de calcul, ce qui a été prouvé efficace dans notre travail. Nous utilisons ensuite le nuage de points d'événements rasterisé comme entrée pour trois différents backbones : PointNet, DGCNN et Point Transformer, associés à deux décodeurs linéaires pour prédire l'emplacement des keypoints humains. Nous constatons que, selon notre méthode, PointNet obtient des résultats prometteurs avec une vitesse beaucoup plus rapide, tandis que Point Transformer atteint une précision beaucoup plus élevée, approchant même celle des méthodes précédentes basées sur des cadres d'événements. Un ensemble complet de résultats démontre que notre méthode proposée est systématiquement efficace pour ces modèles backbone 3D dans l'estimation de la posture humaine pilotée par les événements. Notre méthode basée sur PointNet avec une entrée de 2048 points atteint une erreur moyenne par joint en trois dimensions (MPJPE3D) de 82,46 mm sur le jeu de données DHP19, tout en présentant une latence de seulement 12,29 ms sur une plateforme d'informatique embarquée NVIDIA Jetson Xavier NX, ce qui la rend idéalement adaptée à la détection en temps réel avec des caméras événementielles. Le code source est disponible à l'adresse suivante : https://github.com/MasterHow/EventPointPose.