16日前

持続性の特性:無限大の3D世界を生成するモデル

Lucy Chai, Richard Tucker, Zhengqi Li, Phillip Isola, Noah Snavely
持続性の特性:無限大の3D世界を生成するモデル
要約

近年の3D画像生成モデルは、より現実的な画像品質を実現しているものの、固定された3Dボリューム上での動作に限られ、カメラの運動も制限されているのが一般的である。本研究では、境界のない自然景観を条件なしに合成するタスクに取り組み、任意に大きなカメラ運動を可能にしつつ、持続的な3D世界モデルを維持することを目的とする。我々のシーン表現は、拡張可能な平面的シーンレイアウトグリッドとパノラマスカイドームから構成される。この表現に基づき、3Dデコーダーとボリュームレンダリングを用いて、任意のカメラポーズからシーンをレンダリング可能であり、世界モデルの持続性を確保する。この表現を基に、単一ビューのインターネット写真のみから生成的ワールドモデルを学習する。本手法により、3Dランドスケープを長距離飛行するシミュレーションが可能となり、同時にグローバルなシーンの一貫性を維持することができる——たとえば、出発点に戻った際に同一のシーンビューが再現される。本手法は、従来の3D生成モデルが有する固定された境界を超えたシーンの外挿を可能にするとともに、自己回帰的な3D予測モデルとは対照的に、カメラに依存しない持続的な世界表現を実現する。プロジェクトページ:https://chail.github.io/persistent-nature/

持続性の特性:無限大の3D世界を生成するモデル | 最新論文 | HyperAI超神経