HyperAIHyperAI

Command Palette

Search for a command to run...

Formation Synthétique pour une Estimation Précise de la Pose et de la Forme Humaines en 3D dans des Environnements Réels

Akash Sengupta Ignas Budvytis Roberto Cipolla

Résumé

Ce document aborde le problème de l'estimation monulaire de la forme et de la posture humaines en 3D à partir d'une image RGB. Bien que des progrès considérables aient été réalisés dans ce domaine en termes de précision de prédiction de la posture, les méthodes les plus avancées prédisent souvent des formes corporelles inexactes. Nous suggérons que cette inexactitude est principalement due à la rareté des données d'entraînement réelles avec des labels de forme corporelle diversifiés et précis. Ainsi, nous proposons STRAPS (Synthetic Training for Real Accurate Pose and Shape), un système qui utilise des représentations intermédiaires, telles que des silhouettes et des articulations 2D, comme entrées pour un réseau neuronal de régression de forme et de posture, entraîné avec des données d'entraînement synthétiques (générées en temps réel pendant l'entraînement à l'aide du modèle statistique du corps humain SMPL) afin de surmonter la pénurie de données. Nous comblons l'écart entre les entrées d'entraînement synthétiques et les entrées réelles bruyantes, qui sont prédites par des CNNs de détection de points clés et de segmentation au moment du test, en utilisant une augmentation et une corruption des données pendant l'entraînement. Pour évaluer notre approche, nous avons constitué et fourni un ensemble de données d'évaluation difficile pour l'estimation monulaire de la forme humaine, appelé Sports Shape and Pose 3D (SSP-3D). Il comprend des images RGB de sportifs vêtus serré présentant une variété de formes corporelles ainsi que les paramètres pseudo-vrais SMPL correspondants pour la forme et la posture, obtenus par optimisation multi-image. Nous montrons que STRAPS surpass les autres méthodes les plus avancées sur SSP-3D en termes de précision de prédiction de la forme, tout en restant compétitif avec l'état actuel de l'art sur les jeux de données centrés sur la posture et leurs métriques.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp