Alignement non supervisé intermodale pour l'estimation de la posture 3D multi-personnes

Nous présentons un cadre bottom-up rapide et facile à déployer pour l'estimation de la posture 3D de plusieurs personnes. Nous adoptons une nouvelle représentation neuronale de la posture 3D de plusieurs personnes qui unifie la position des instances de personnes avec leur représentation de posture 3D correspondante. Cela est réalisé en apprenant une empreinte générative de posture qui non seulement garantit des prédictions de posture 3D plausibles, mais élimine également l'opération habituelle de regroupement des points clés utilisée dans les approches bottom-up précédentes. De plus, nous proposons un paradigme pratique pour le déploiement où les annotations de posture 2D ou 3D appariées sont indisponibles. En l'absence de toute supervision appariée, nous utilisons un réseau gelé, comme modèle enseignant, qui est formé sur une tâche auxiliaire d'estimation de la posture 2D de plusieurs personnes. Nous formulons l'apprentissage comme un problème d'alignement inter-modalités et proposons des objectifs d'entraînement pour réaliser un espace latent partagé entre deux modalités diverses. Notre objectif est d'améliorer les capacités du modèle à surpasser le réseau enseignant limitatif en enrichissant la cartographie latente-vers-posture-3D à l'aide d'échantillons synthétiques multi-personnes de scènes 3D. Notre approche non seulement se généralise aux images naturelles, mais offre également un compromis supérieur entre vitesse et performance par rapport aux approches top-down précédentes. Notre méthode fournit également des performances d'estimation de la posture 3D multi-personne parmi les meilleures (state-of-the-art) parmi les approches bottom-up sous des niveaux de supervision cohérents.