Gardez-le simple : estimation automatique de la posture et de la forme humaines en 3D à partir d'une seule image

Nous décrivons la première méthode permettant d'estimer automatiquement la posture 3D du corps humain ainsi que sa forme 3D à partir d'une seule image non contrainte. Nous estimons une maillage 3D complet et montrons que les seules articulations 2D portent une quantité surprenante d'informations sur la forme du corps. Ce problème est complexe en raison de la structure du corps humain, de l'articulation, de l'occlusion, des vêtements, de l'éclairage et de l'ambiguïté inhérente à l'inférence 3D à partir de données 2D. Pour le résoudre, nous utilisons tout d'abord une méthode basée sur un CNN récemment publiée, DeepCut, pour prédire (de bas en haut) les positions des articulations corporelles 2D. Nous ajustons ensuite (de haut en bas) un modèle statistique de forme corporelle récemment publié, appelé SMPL, aux articulations 2D. Cela se fait en minimisant une fonction objectif qui pénalise l'erreur entre les articulations 3D projetées du modèle et les articulations 2D détectées. Comme SMPL capture les corrélations dans la forme humaine au sein de la population, nous sommes capables de l'ajuster robustement à très peu de données. Nous exploitons davantage le modèle 3D pour éviter des solutions entraînant des intersections indésirables. Nous évaluons notre méthode, SMPLify, sur les jeux de données Leeds Sports, HumanEva et Human3.6M, montrant une précision supérieure en matière de posture par rapport à l'état actuel de la recherche.Note: - "Maillage" is used for "mesh" in the context of computer graphics and modeling.- "Intersections indésirables" is used to translate "interpenetration," which refers to parts of the model passing through each other in an unnatural way.- The term "État actuel de la recherche" is a common phrase used in academic writing to refer to the current state of research or technology in a field.