DenseRaC : Estimation conjointe de la posture 3D et de la forme par rendu et comparaison denses

Nous présentons DenseRaC, un nouveau cadre end-to-end pour l'estimation conjointe de la posture 3D et de la forme corporelle à partir d'une seule image RGB en monochromie. Notre cadre en deux étapes repose sur la carte de correspondance pixel-corps (c’est-à-dire la carte IUV) comme représentation intermédiaire, puis effectue l'estimation des paramètres de posture et de forme humaine paramétrée. Plus précisément, à partir d'une carte IUV estimée, nous développons un réseau neuronal profond qui optimise des pertes de reconstruction 3D tout en intégrant un schéma « rendre et comparer » afin de minimiser les différences entre l'entrée initiale et la sortie rendue, à savoir des points de repère corporels denses, des masques de parties du corps et des priori adversariaux. Pour améliorer l'apprentissage, nous construisons également un grand jeu de données synthétiques (MOCA) à partir de séquences de motion capture récupérées sur le web, de scans 3D et d'animations. Les données générées couvrent une grande diversité de vues caméra, d'actions humaines et de morphologies corporelles, et sont associées à des vérités terrain complètes. Notre modèle apprend conjointement à représenter le corps humain 3D à partir de jeux de données hybrides, atténuant ainsi le problème des données d'entraînement non appariées. Nos expériences montrent que DenseRaC obtient des performances supérieures à l'état de l'art sur diverses bases de données publiques pour des tâches liées à l'humain.