HyperAIHyperAI

Command Palette

Search for a command to run...

Perception des arrangements spatiaux 3D entre humains et objets à partir d'une seule image dans des conditions réelles

Jason Y. Zhang Sam Pepose Hanbyul Joo Deva Ramanan Jitendra Malik Angjoo Kanazawa

Résumé

Nous présentons une méthode permettant d'inférer les dispositions spatiales et les formes des humains et des objets dans une scène 3D globalement cohérente, à partir d'une seule image capturée dans un environnement non contrôlé. Notamment, notre méthode fonctionne sur des ensembles de données ne comportant aucune supervision 3D au niveau de la scène ou des objets. Notre intuition clé est que la considération conjointe des humains et des objets donne lieu à des contraintes de « bon sens en 3D » qui peuvent être utilisées pour résoudre les ambiguïtés. En particulier, nous introduisons une perte d'échelle qui apprend la distribution de la taille des objets à partir des données ; une perte de réprojection de silhouette prenant en compte l'occlusion pour optimiser la posture des objets ; et une perte d'interaction humain-objet pour capturer le découpage spatial des objets avec lesquels les humains interagissent. Nous validons empiriquement que nos contraintes réduisent considérablement l'espace des configurations spatiales 3D probables. Nous démontrons notre approche sur des images difficiles, capturées dans un environnement naturel, montrant des humains interagissant avec de grands objets (comme des vélos, des motos et des planches de surf) et avec des objets portatifs (comme des ordinateurs portables, des raquettes de tennis et des skateboards). Nous quantifions la capacité de notre approche à recouvrer les dispositions humain-objet et soulignons les défis restants dans ce domaine relativement nouveau. La page web du projet se trouve à l'adresse https://jasonyzhang.com/phosa.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Perception des arrangements spatiaux 3D entre humains et objets à partir d'une seule image dans des conditions réelles | Articles | HyperAI