HyperAIHyperAI

Command Palette

Search for a command to run...

MIME : Génération de scènes 3D prenant en compte l'humain

Hongwei Yi Chun-Hao P. Huang* Shashank Tripathi Lea Hering Justus Thies Michael J. Black

Résumé

La génération de mondes 3D réalistes occupés par des humains en mouvement possède de nombreuses applications dans les jeux, l'architecture et la création de données synthétiques. Cependant, la génération de telles scènes est coûteuse et demande beaucoup de travail. Des travaux récents ont permis de générer des poses et des mouvements humains à partir d'une scène 3D. Ici, nous adoptons une approche inverse et générons des scènes intérieures 3D à partir de mouvements humains 3D. Ces mouvements peuvent provenir d'enregistrements d'archives de captation de mouvement ou de capteurs IMU portés sur le corps, transformant ainsi le mouvement humain en un "scanner" du monde 3D. Intuitivement, le mouvement humain indique l'espace libre dans une pièce, tandis que le contact humain indique les surfaces ou objets qui soutiennent des activités comme s'asseoir, se coucher ou toucher. Nous proposons MIME (Mining Interaction and Movement to infer 3D Environments) [MIME (Extraction des interactions et des mouvements pour inférer les environnements 3D)], un modèle génératif de scènes intérieures qui produit des dispositions de meubles cohérentes avec le mouvement humain. MIME utilise une architecture de transformer auto-régressif qui prend en entrée les objets déjà générés dans la scène ainsi que le mouvement humain, et produit l'objet suivant plausible. Pour entraîner MIME, nous avons construit un ensemble de données en peuplant le jeu de données 3D FRONT avec des personnages humains 3D. Nos expériences montrent que MIME génère des scènes 3D plus diverses et plausibles qu'une méthode récente générative de scènes qui ne tient pas compte du mouvement humain. Le code et les données seront disponibles pour la recherche à l'adresse https://mime.is.tue.mpg.de.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MIME : Génération de scènes 3D prenant en compte l'humain | Articles | HyperAI