要約
3D都市の生成は、人間が都市環境における構造的歪みに敏感であるため、望ましいが同時に挑戦的なタスクである。さらに、自然景観における木など比較的一貫した外観を示す物体とは異なり、建物という同一クラスのオブジェクトはより広範な外観の多様性を示すため、3D都市の生成は3D自然景観の生成よりも複雑である。こうした課題に対処するため、本研究ではCityDreamerを提案する。これは、無限に広がる3D都市の生成に特化した構成型生成モデルである。我々の核心的な洞察は、3D都市の生成が、1）異なる建物インスタンス、および2）道路や緑地といった背景的な要素（stuff）という異なる種類のニューラルフィールドの組み合わせであるべきだということである。具体的には、鳥瞰図視点のシーン表現を採用し、インスタンス指向とstuff指向の両方のニューラルフィールドに対して体積レンダリングを適用している。また、建物インスタンスと背景stuffの特徴に応じて、シーンパラメータ化に適した生成用ハッシュグリッドと周期的位置埋め込み（periodic positional embedding）を設計している。さらに、OSMやGoogleEarthを含む多数の実世界都市画像を収集したCityGenデータセット群を提供することで、生成された3D都市のレイアウトと外観のリアリズムを向上させた。CityDreamerは、現実的な3D都市の生成において最先端の性能を達成するだけでなく、生成された都市内の局所的な編集（localized editing）においても優れた結果を示している。