MIME : Génération de scènes 3D prenant en compte l'humain

La génération de mondes 3D réalistes occupés par des humains en mouvement possède de nombreuses applications dans les jeux, l'architecture et la création de données synthétiques. Cependant, la génération de telles scènes est coûteuse et demande beaucoup de travail. Des travaux récents ont permis de générer des poses et des mouvements humains à partir d'une scène 3D. Ici, nous adoptons une approche inverse et générons des scènes intérieures 3D à partir de mouvements humains 3D. Ces mouvements peuvent provenir d'enregistrements d'archives de captation de mouvement ou de capteurs IMU portés sur le corps, transformant ainsi le mouvement humain en un "scanner" du monde 3D. Intuitivement, le mouvement humain indique l'espace libre dans une pièce, tandis que le contact humain indique les surfaces ou objets qui soutiennent des activités comme s'asseoir, se coucher ou toucher. Nous proposons MIME (Mining Interaction and Movement to infer 3D Environments) [MIME (Extraction des interactions et des mouvements pour inférer les environnements 3D)], un modèle génératif de scènes intérieures qui produit des dispositions de meubles cohérentes avec le mouvement humain. MIME utilise une architecture de transformer auto-régressif qui prend en entrée les objets déjà générés dans la scène ainsi que le mouvement humain, et produit l'objet suivant plausible. Pour entraîner MIME, nous avons construit un ensemble de données en peuplant le jeu de données 3D FRONT avec des personnages humains 3D. Nos expériences montrent que MIME génère des scènes 3D plus diverses et plausibles qu'une méthode récente générative de scènes qui ne tient pas compte du mouvement humain. Le code et les données seront disponibles pour la recherche à l'adresse https://mime.is.tue.mpg.de.