Le Meilleur des Deux Mondes : Combinaison d'Approches Basées sur les Modèles et Non Paramétriques pour l'Estimation du Corps Humain en 3D

Les méthodes basées sur des approches non paramétriques ont récemment montré des résultats prometteurs dans la reconstruction de corps humains à partir d'images monoculaires, tandis que les méthodes basées sur des modèles peuvent aider à corriger ces estimations et améliorer les prédictions. Cependant, l'estimation des paramètres du modèle à partir de caractéristiques d'image globales peut entraîner un décalage notable entre les maillages estimés et les preuves d'image. Pour résoudre ce problème et tirer parti des avantages de chaque approche, nous proposons un cadre composé de trois modules consécutifs. Le premier module, celui de prédiction de carte dense, établit explicitement la correspondance dense UV entre les preuves d'image et chaque partie du modèle de corps. Le deuxième module, celui d'kinématique inverse, affine la prédiction des points clés et génère un maillage modèle posé. Enfin, le troisième module, celui de complétion UV (inpainting), s'appuie sur la caractéristique correspondante, la prédiction et le maillage modèle posé pour achever les prédictions de formes corporelles occultées.Notre cadre tire parti des meilleures caractéristiques des méthodes non paramétriques et basées sur des modèles, tout en étant robuste face aux occultations partielles. Les expériences montrent que notre cadre surpassent les méthodes existantes d'estimation 3D du corps humain sur plusieurs benchmarks publics.