HyperAIHyperAI

Command Palette

Search for a command to run...

Distributions de probabilité cinématique hiérarchiques pour l'estimation de la forme et de la posture humaines en 3D à partir d'images dans des conditions réelles

Akash Sengupta Ignas Budvytis Roberto Cipolla

Résumé

Ce travail aborde le problème de l'estimation de la forme et de la posture du corps humain en 3D à partir d'une image RGB. Il s'agit souvent d'un problème mal posé, car plusieurs corps 3D plausibles peuvent correspondre aux preuves visuelles présentes dans l'image d'entrée, particulièrement lorsque le sujet est occulté. Par conséquent, il est souhaitable d'estimer une distribution sur la forme et la posture du corps en 3D conditionnée par l'image d'entrée plutôt qu'une seule reconstruction 3D. Nous formons un réseau neuronal profond pour estimer une distribution matricielle hiérarchique de Fisher sur les matrices de rotation 3D relatives des articulations (c'est-à-dire la posture du corps), exploitant ainsi la structure arborescente cinématique du corps humain, ainsi qu'une distribution gaussienne sur les paramètres de forme du modèle SMPL. Pour garantir davantage que les distributions prédites de forme et de posture correspondent aux preuves visuelles dans l'image d'entrée, nous avons mis en œuvre un échantillonneur de rejet différentiable afin d'imposer une perte de reprojection entre les coordonnées 2D réelles des articulations et les échantillons tirés des distributions prédites, projetés sur le plan de l'image. Nous montrons que notre méthode est compétitive avec l'état de l'art en termes de métriques de forme et de posture 3D sur les jeux de données SSP-3D et 3DPW, tout en produisant une distribution probabiliste structurée sur la forme et la posture du corps en 3D, avec laquelle nous pouvons quantifier significativement l'incertitude des prédictions et générer plusieurs reconstructions 3D plausibles pour expliquer une image d'entrée donnée. Le code est disponible à l'adresse suivante : https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Distributions de probabilité cinématique hiérarchiques pour l'estimation de la forme et de la posture humaines en 3D à partir d'images dans des conditions réelles | Articles | HyperAI