HyperAIHyperAI

Command Palette

Search for a command to run...

Neural Descent pour la posture et la forme 3D visuelle humaines

Andrei Zanfir Eduard Gabriel Bazavan Mihai Zanfir William T. Freeman Rahul Sukthankar Cristian Sminchisescu

Résumé

Nous présentons une méthodologie basée sur les réseaux de neurones profonds pour reconstruire la posture et la forme 3D d’êtres humains à partir d’une image RGB d’entrée. Notre approche repose sur un modèle statistique 3D expressif du corps entier, récemment introduit, appelé GHUM, entraîné de manière end-to-end, et apprend à reconstruire son état de posture et de forme dans un cadre auto-supervisé. Au cœur de notre méthodologie se trouve une approche d’apprentissage à apprendre et à optimiser, nommée HUmanNeural Descent (HUND), qui évite à la fois les dérivées d’ordre deux lors de l’entraînement des paramètres du modèle, ainsi que les descentes de gradient coûteuses en mémoire à l’évaluation, afin de minimiser précisément une perte différentiable sémantiquement au moment du test. À la place, nous utilisons des étapes récurrentes novatrices pour mettre à jour les paramètres de posture et de forme, de manière à minimiser efficacement les pertes tout en assurant une régularisation méta durant le processus, garantissant ainsi une convergence stable et progressive. La symétrie intrinsèque entre l’entraînement et l’évaluation de HUND en fait la première architecture de perception 3D humaine à supporter nativement différents régimes opératoires, y compris les régimes auto-supervisés. Dans diverses évaluations, nous démontrons que HUND atteint des résultats très compétitifs sur des jeux de données tels que H3.6M et 3DPW, tout en produisant des reconstructions 3D de haute qualité pour des images complexes recueillies dans des environnements réels (in-the-wild).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Neural Descent pour la posture et la forme 3D visuelle humaines | Articles | HyperAI