Plongement probabiliste invariant à la vue pour la posture humaine

Les représentations de configurations corporelles humaines similaires peuvent varier en fonction des points de vue changeants. En utilisant uniquement des informations 2D, nous souhaitons permettre aux algorithmes de vision d'identifier la similitude des postures corporelles humaines à travers plusieurs vues. Cette capacité est utile pour analyser les mouvements du corps et les comportements humains dans les images et les vidéos. Dans cet article, nous proposons une approche pour apprendre un espace d'embedding compact invariant par rapport à la vue à partir de seules les keypoints articulaires 2D, sans prédire explicitement les postures 3D. Étant donné que les postures 2D sont projetées depuis l'espace 3D, elles présentent une ambiguïté inhérente qui est difficile à représenter par une carte déterministe. Par conséquent, nous utilisons des embeddings probabilistes pour modéliser cette incertitude d'entrée. Les résultats expérimentaux montrent que notre modèle d'embedding atteint une précision supérieure lors de la recherche de postures similaires à travers différentes vues caméra, comparativement aux modèles de relevage de posture 2D vers 3D. Nous démontrons également l'efficacité de l'application de nos embeddings à la reconnaissance d'actions invariantes par rapport à la vue et au calibrage vidéo. Notre code est disponible sur https://github.com/google-research/google-research/tree/master/poem.