Peupler des scènes 3D en apprenant l'interaction humain-scène

Les humains vivent dans un espace tridimensionnel et interagissent constamment avec celui-ci pour accomplir des tâches. Ces interactions impliquent un contact physique entre les surfaces qui est sémantiquement significatif. Notre objectif est d'apprendre comment les humains interagissent avec les scènes et d'utiliser cette connaissance pour permettre aux personnages virtuels de faire de même. À cet effet, nous introduisons un nouveau modèle d'interaction homme-scène (HSI) qui encode les relations de proximité, appelé POSA pour « Pose avec prOximitieS et contActs ». La représentation de l'interaction est centrée sur le corps, ce qui lui permet de se généraliser à de nouvelles scènes. Plus précisément, POSA enrichit le modèle paramétrique du corps humain SMPL-X de manière à ce que, pour chaque sommet du maillage, il encode (a) la probabilité de contact avec la surface de la scène et (b) l'étiquette sémantique correspondante de la scène. Nous apprenons POSA à l'aide d'un VAE conditionné sur les sommets SMPL-X, et nous l'entraînons sur le jeu de données PROX, qui contient des maillages SMPL-X de personnes interagissant avec des scènes 3D, ainsi que les sémantiques correspondantes des scènes issues du jeu de données PROX-E. Nous démontrons la valeur de POSA par deux applications. Premièrement, nous plaçons automatiquement des scans 3D de personnes dans des scènes. Nous utilisons un modèle SMPL-X ajusté au scan comme proxy, puis trouvons sa position la plus probable en 3D. POSA fournit une représentation efficace pour rechercher les « affordances » dans la scène qui correspondent aux relations de contact probables pour cette posture. Une étude perceptive montre une amélioration significative par rapport à l'état de l'art dans cette tâche. Deuxièmement, nous montrons que la représentation apprise par POSA des interactions corps-scène soutient une estimation monulaire de la posture humaine cohérente avec une scène 3D, surpassant également l'état de l'art. Notre modèle et notre code sont disponibles à des fins de recherche sur https://posa.is.tue.mpg.de.