MIME: 人間を意識した3Dシーン生成

リアルな3D世界を動く人間が占める生成は、ゲーム、建築、合成データ作成など多くの応用があります。しかし、このようなシーンの生成は費用がかかり、労力が大きいです。最近の研究では、3Dシーンが与えられた場合に人間の姿勢と動きを生成しています。本研究では、その逆のアプローチを取り、3D人間の動きが与えられた場合に3D室内シーンを生成します。これらの動きは、アーカイブされたモーションキャプチャや体に装着されたIMUセンサ（Inertial Measurement Unit）から得られるため、実質的に人間の動きが3D世界の「スキャナ」になります。直感的には、人間の動きは部屋内の自由空間を示し、人間との接触は座る、寝る、触れるなどの活動を支える表面や物体を示します。我々はMIME（ Mining Interaction and Movement to infer 3D Environments：相互作用と動きから3D環境を推定する）と呼ばれる室内シーンの生成モデルを提案します。このモデルは、既にシーン内に生成された物体と人間の動きを入力として取り入れ、次の合理的な物体を出力します。MIMEは自己回帰的なトランスフォーマー構造を使用しており、これにより生成される家具配置は人間の動きと一貫性を持っています。MIMEの訓練のために、我々は3D FRONTシーンデータセットに3D人間を入れることでデータセットを作成しました。実験結果から、MIMEは人間の動きについて知らない最近の生成シーン手法よりも多様で合理的な3Dシーンを生成することが示されています。コードとデータは研究目的で https://mime.is.tue.mpg.de にて公開されます。