TexturePose : Supervision de l'estimation de la maillée humaine avec cohérence texturale

Ce travail aborde le problème de l'estimation de la posture humaine basée sur un modèle. Les approches récentes ont fait des progrès significatifs dans la régression des paramètres des modèles corporels humains paramétriques directement à partir d'images. En raison de l'absence d'images avec une vérité terrain en 3D, les méthodes pertinentes s'appuient sur des annotations 2D ou des conceptions architecturales sophistiquées. Dans cette étude, nous soutenons qu'il existe davantage d'indices que nous pouvons exploiter, qui sont disponibles gratuitement dans les images naturelles, c'est-à-dire sans obtenir plus d'annotations ou modifier l'architecture du réseau. Nous proposons une forme naturelle de supervision, qui tire parti de la constance de l'apparence d'une personne entre différents cadres (ou points de vue). Ce fil conducteur apparemment insignifiant et souvent négligé est très utile pour l'estimation de la posture basée sur un modèle. Le modèle paramétrique que nous utilisons nous permet de calculer une carte de texture pour chaque cadre. En supposant que la texture de la personne ne change pas considérablement entre les cadres, nous pouvons appliquer une nouvelle perte de cohérence texturale, qui impose que chaque point dans la carte de texture ait la même valeur texturale dans tous les cadres. Comme la texture est transférée dans cet espace commun de carte de texture, aucun calcul du mouvement caméra n'est nécessaire, ni même une hypothèse de régularité entre les cadres. Cela rend notre supervision proposée applicable dans divers contextes, allant des vidéos monoculaires aux images multivues. Nous évaluons notre approche par rapport à des baselines solides nécessitant les mêmes annotations ou même plus que celles que nous utilisons, et nous surpassons constamment ces méthodes. Simultanément, nous obtenons des résultats à l'état de l'art parmi les approches d'estimation de la posture basée sur un modèle dans différentes évaluations. Le site web du projet avec des vidéos, des résultats et du code peut être consulté à l'adresse suivante : https://seas.upenn.edu/~pavlakos/projects/texturepose.