MIME: Human-Aware 3D Szeneriegenerierung

Die Erstellung realistischer 3D-Welten, die von sich bewegenden Menschen bewohnt sind, hat viele Anwendungen in Spielen, Architektur und der Erstellung synthetischer Daten. Allerdings ist die Generierung solcher Szenen kostspielig und arbeitsintensiv. Kürzliche Forschungsarbeiten haben sich damit beschäftigt, menschliche Haltungen und Bewegungen in einem gegebenen 3D-Szenario zu generieren. Hier nehmen wir den entgegengesetzten Ansatz und erzeugen 3D-Innenräume anhand von 3D-menschlichen Bewegungen. Solche Bewegungen können aus archivierten Motion-Capture-Daten oder von IMU-Sensoren stammen, die am Körper getragen werden, was effektiv die menschliche Bewegung in einen "Scanner" der 3D-Welt verwandelt. Intuitiv deuten menschliche Bewegungen auf freien Raum in einem Raum hin, während menschlicher Kontakt Oberflächen oder Objekte anzeigt, die Aktivitäten wie Sitzen, Liegen oder Berühren unterstützen.Wir schlagen MIME (Mining Interaction and Movement to infer 3D Environments – Aus Mineninteraktion und -bewegung 3D-Umgebungen ableiten) vor. Es handelt sich dabei um ein generatives Modell für Innenräume, das Möbelanordnungen erzeugt, die mit der menschlichen Bewegung konsistent sind. MIME verwendet eine autoregressive Transformer-Architektur, die sowohl die bereits im Szenario generierten Objekte als auch die menschliche Bewegung als Eingabe verwendet und das nächste plausibele Objekt ausgibt. Um MIME zu trainieren, bauen wir einen Datensatz auf, indem wir den 3D FRONT Szene-Datensatz mit 3D-Menschen bevölkern. Unsere Experimente zeigen, dass MIME vielfältigere und plausiblere 3D-Szenarien erzeugt als eine kürzlich vorgeschlagene generative Szene-Methode, die keine Kenntnis über menschliche Bewegung besitzt. Der Quellcode und die Daten werden für Forschungszwecke unter https://mime.is.tue.mpg.de zur Verfügung gestellt.