HyperAIHyperAI

Command Palette

Search for a command to run...

Placer les personnes à leur place : Régression monulaire de personnes 3D en profondeur

Yu Sun Wu Liu Qian Bao Yili Fu Tao Mei Michael J. Black

Résumé

Étant donné une image contenant plusieurs personnes, notre objectif est de régresser directement la posture et la forme de toutes les personnes ainsi que leur profondeur relative. L'inférence de la profondeur d'une personne dans une image est cependant fondamentalement ambiguë sans connaître sa hauteur. Cela pose un problème particulier lorsque la scène comprend des personnes de tailles très différentes, par exemple des nourrissons à des adultes. Pour résoudre ce problème, nous avons besoin de plusieurs éléments. Premièrement, nous développons une nouvelle méthode pour inférer les postures et les profondeurs de plusieurs personnes dans une seule image. Alors que les travaux précédents qui estiment plusieurs personnes le font en raisonnant dans le plan de l'image, notre méthode, appelée BEV (Bird's-Eye-View), ajoute une représentation imaginaire en vue du dessus pour raisonner explicitement sur la profondeur. BEV raisonne simultanément sur les centres corporels dans l'image et en profondeur, et en combinant ces informations, il estime la position corporelle en 3D. Contrairement aux méthodes antérieures, BEV est une méthode mono-tirage qui est entièrement différentiable. Deuxièmement, la hauteur varie avec l'âge, rendant impossible la résolution de la profondeur sans également estimer l'âge des personnes présentes dans l'image. Pour ce faire, nous exploitons un espace de modèles corporels 3D qui permet à BEV d'inférer les formes allant des nourrissons aux adultes. Troisièmement, pour entraîner BEV, nous avons besoin d'un nouveau jeu de données. Plus précisément, nous créons un jeu de données "Relative Human" (RH) qui inclut des étiquettes d'âge et des relations de profondeur relative entre les personnes présentes dans les images. Des expériences approfondies sur RH et AGORA démontrent l'efficacité du modèle et du schéma d'entraînement. BEV surpasses les méthodes existantes en matière de raisonnement sur la profondeur, d'estimation de la forme des enfants et de robustesse face à l'occlusion. Le code source et le jeu de données sont mis à disposition à des fins de recherche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp