HyperAIHyperAI

Command Palette

Search for a command to run...

DenseRaC : Estimation conjointe de la posture 3D et de la forme par rendu et comparaison denses

Yuanlu Xu Song-Chun Zhu Tony Tung

Résumé

Nous présentons DenseRaC, un nouveau cadre end-to-end pour l'estimation conjointe de la posture 3D et de la forme corporelle à partir d'une seule image RGB en monochromie. Notre cadre en deux étapes repose sur la carte de correspondance pixel-corps (c’est-à-dire la carte IUV) comme représentation intermédiaire, puis effectue l'estimation des paramètres de posture et de forme humaine paramétrée. Plus précisément, à partir d'une carte IUV estimée, nous développons un réseau neuronal profond qui optimise des pertes de reconstruction 3D tout en intégrant un schéma « rendre et comparer » afin de minimiser les différences entre l'entrée initiale et la sortie rendue, à savoir des points de repère corporels denses, des masques de parties du corps et des priori adversariaux. Pour améliorer l'apprentissage, nous construisons également un grand jeu de données synthétiques (MOCA) à partir de séquences de motion capture récupérées sur le web, de scans 3D et d'animations. Les données générées couvrent une grande diversité de vues caméra, d'actions humaines et de morphologies corporelles, et sont associées à des vérités terrain complètes. Notre modèle apprend conjointement à représenter le corps humain 3D à partir de jeux de données hybrides, atténuant ainsi le problème des données d'entraînement non appariées. Nos expériences montrent que DenseRaC obtient des performances supérieures à l'état de l'art sur diverses bases de données publiques pour des tâches liées à l'humain.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp