CityDreamer: Zusammensetzende generative Modellierung unbeschränkter 3D-Städte

Die Generierung von 3D-Städten ist eine wünschenswerte, jedoch herausfordernde Aufgabe, da Menschen in städtischen Umgebungen besonders empfindlich gegenüber strukturellen Verzerrungen sind. Zudem ist die Erzeugung von 3D-Städten komplexer als die von 3D-Natur-Szenen, da Gebäude – als Objekte derselben Kategorie – eine weitaus größere Vielfalt an Erscheinungsformen aufweisen als Objekte wie Bäume in natürlichen Szenen, die eine relativ konsistente Erscheinung besitzen. Um diesen Herausforderungen zu begegnen, stellen wir \textbf{CityDreamer} vor, ein zusammengesetztes generatives Modell, das speziell für unbegrenzte 3D-Städte entwickelt wurde. Unser zentrales Konzept besteht darin, die Generierung von 3D-Städten als Zusammensetzung verschiedener Arten von neuronalen Feldern zu betrachten: 1) verschiedene Gebäude-Instanzen und 2) Hintergrund-Elemente wie Straßen und Grünflächen. Konkret nutzen wir eine Vogel-Sicht-Szenendarstellung und setzen eine volumetrische Rendering-Technik sowohl für instanzorientierte als auch für stuff-orientierte neuronale Felder ein. Die generative Hash-Grid-Parameterisierung sowie die periodische Positionseingabe werden speziell angepasst, um den unterschiedlichen Eigenschaften von Gebäude-Instanzen und Hintergrund-Elementen gerecht zu werden. Darüber hinaus tragen wir eine Reihe von CityGen-Datensätzen bei, darunter OSM und GoogleEarth, die eine große Menge an realen Stadtbildern enthalten und die Realitätsnähe der generierten 3D-Städte sowohl in Bezug auf Layout als auch auf Erscheinungsbild erheblich verbessern. CityDreamer erreicht sowohl bei der Erzeugung realistischer 3D-Städte als auch bei lokalisierten Bearbeitungen innerhalb der generierten Städte den Stand der Technik.