Gaussian Splatting génératif pour la génération 3D illimitée de villes

La génération de villes en 3D à l’aide de méthodes basées sur NeRF montre des résultats prometteurs, mais elle reste inefficace sur le plan computationnel. Récemment, le Splatting Gaussien 3D (3D-GS) est apparu comme une alternative particulièrement efficace pour la génération 3D au niveau des objets. Toutefois, adapter le 3D-GS des objets 3D à échelle finie, comme les humains ou les objets courants, à des villes 3D à échelle infinie s’avère loin d’être trivial. La génération 3D non bornée de villes soulève des problèmes importants de surcharge mémoire (débordements de mémoire), dus à l’expansion nécessaire des points jusqu’à des milliards, ce qui exige souvent des centaines de gigaoctets de VRAM pour une scène urbaine couvrant 10 km². Dans ce travail, nous proposons GaussianCity, un cadre de génération basé sur le Splatting Gaussien, dédié à la synthèse efficace de villes 3D non bornées en une seule passe d’inférence. Nos principales contributions reposent sur deux axes : 1) Représentation 3D compacte de la scène : nous introduisons BEV-Point, une représentation intermédiaire extrêmement compacte, garantissant que l’usage de la VRAM pour des scènes non bornées reste constant, permettant ainsi la génération de villes sans bornes. 2) Décodeur d’attributs Gaussiens sensible à l’espace : nous proposons un décodeur BEV-Point sensible à l’espace pour générer les attributs des Gaussiennes 3D, exploitant le Point Serializer afin d’intégrer les caractéristiques structurelles et contextuelles des points BEV. Des expérimentations étendues démontrent que GaussianCity atteint des performances de pointe dans la génération 3D de villes, tant en vue drone qu’en vue de rue. Notamment, par rapport à CityDreamer, GaussianCity présente une performance supérieure avec un gain de vitesse de 60 fois (10,72 FPS contre 0,18 FPS).