Generatives Gauss-Splatting für unbegrenzte 3D-Stadtgenerierung

Die Generierung von 3D-Städten mittels NeRF-basierter Methoden zeigt vielversprechende Ergebnisse, ist jedoch rechnerisch ineffizient. In jüngster Zeit ist 3D-Gaussian Splatting (3D-GS) als äußerst effiziente Alternative für die 3D-Generierung auf Objekt- und Menschen-Skala hervorgetreten. Die Anpassung von 3D-GS von endlichen 3D-Objekten und Menschen auf unendliche 3D-Städte ist jedoch nicht trivial. Die generative Erstellung unbeschränkter 3D-Städte führt zu erheblichen Speicheranforderungen (Out-of-Memory-Problemen), da die Anzahl der Punkte auf Milliarden ansteigen muss, was oft Hunderte von Gigabyte VRAM für eine Stadtscene von 10 km² erfordert. In diesem Paper stellen wir GaussianCity vor, einen generativen Gaussian-Splatting-Framework, der effizient unbeschränkte 3D-Städte mit einem einzigen Feed-Forward-Durchlauf synthetisiert. Unsere zentralen Erkenntnisse sind zweifach: 1) Kompakte 3D-Szenendarstellung: Wir führen BEV-Point als äußerst kompakte Zwischendarstellung ein, die sicherstellt, dass der VRAM-Verbrauch bei unbeschränkten Szenen konstant bleibt und somit die generative Erstellung unbeschränkter Städte ermöglicht. 2) raumbezogener Gaussian-Attribut-Decoder: Wir präsentieren einen raumbezogenen BEV-Point-Decoder, der 3D-Gaussian-Attribute erzeugt und dabei den Point Serializer nutzt, um strukturelle und kontextuelle Merkmale von BEV-Punkten zu integrieren. Umfangreiche Experimente zeigen, dass GaussianCity sowohl bei der Dronen- als auch bei der Straßenansicht 3D-Stadtgenerierung Ergebnisse auf State-of-the-Art-Niveau erreicht. Insbesondere übertrifft GaussianCity im Vergleich zu CityDreamer die Leistung erheblich mit einer Beschleunigung um das 60-fache (10,72 FPS gegenüber 0,18 FPS).