Placer les personnes à leur place : Régression monulaire de personnes 3D en profondeur

Étant donné une image contenant plusieurs personnes, notre objectif est de régresser directement la posture et la forme de toutes les personnes ainsi que leur profondeur relative. L'inférence de la profondeur d'une personne dans une image est cependant fondamentalement ambiguë sans connaître sa hauteur. Cela pose un problème particulier lorsque la scène comprend des personnes de tailles très différentes, par exemple des nourrissons à des adultes. Pour résoudre ce problème, nous avons besoin de plusieurs éléments. Premièrement, nous développons une nouvelle méthode pour inférer les postures et les profondeurs de plusieurs personnes dans une seule image. Alors que les travaux précédents qui estiment plusieurs personnes le font en raisonnant dans le plan de l'image, notre méthode, appelée BEV (Bird's-Eye-View), ajoute une représentation imaginaire en vue du dessus pour raisonner explicitement sur la profondeur. BEV raisonne simultanément sur les centres corporels dans l'image et en profondeur, et en combinant ces informations, il estime la position corporelle en 3D. Contrairement aux méthodes antérieures, BEV est une méthode mono-tirage qui est entièrement différentiable. Deuxièmement, la hauteur varie avec l'âge, rendant impossible la résolution de la profondeur sans également estimer l'âge des personnes présentes dans l'image. Pour ce faire, nous exploitons un espace de modèles corporels 3D qui permet à BEV d'inférer les formes allant des nourrissons aux adultes. Troisièmement, pour entraîner BEV, nous avons besoin d'un nouveau jeu de données. Plus précisément, nous créons un jeu de données "Relative Human" (RH) qui inclut des étiquettes d'âge et des relations de profondeur relative entre les personnes présentes dans les images. Des expériences approfondies sur RH et AGORA démontrent l'efficacité du modèle et du schéma d'entraînement. BEV surpasses les méthodes existantes en matière de raisonnement sur la profondeur, d'estimation de la forme des enfants et de robustesse face à l'occlusion. Le code source et le jeu de données sont mis à disposition à des fins de recherche.