Command Palette
Search for a command to run...
SPATIALGEN: layoutgeleitete Generierung 3D-Innenräume
SPATIALGEN: layoutgeleitete Generierung 3D-Innenräume
Chuan Fang Heng Li Yixun Liang Jia Zheng Yongsen Mao Yuan Liu Rui Tang Zihan Zhou Ping Tan
Zusammenfassung
Die Erstellung hochwertiger 3D-Modelle von Innenräumen ist für Anwendungen im Bereich Design, virtuelle Realität und Robotik von entscheidender Bedeutung. Doch die manuelle 3D-Modellierung bleibt nach wie vor zeitaufwendig und arbeitsintensiv. Obwohl in jüngster Zeit Fortschritte im Bereich generativer KI die automatisierte Szenensynthese ermöglicht haben, stoßen bestehende Methoden häufig auf Herausforderungen bei der Balance zwischen visueller Qualität, Vielfalt, semantischer Konsistenz und Benutzerkontrolle. Ein zentrales Hindernis ist die fehlende Verfügbarkeit einer großskaligen, hochwertigen Datensammlung, die speziell für diese Aufgabe konzipiert ist. Um diese Lücke zu schließen, stellen wir eine umfassende synthetische Datensammlung vor, die 12.328 strukturiert annotierte Szenen mit insgesamt 57.440 Räumen sowie 4,7 Millionen fotorealistische 2D-Renderings umfasst. Auf Basis dieser Datensammlung präsentieren wir SpatialGen, ein neuartiges Multi-View-Multi-Modality-Diffusionsmodell, das realistische und semantisch konsistente 3D-Innenräume generiert. Gegeben eine 3D-Layout-Struktur und ein Referenzbild (abgeleitet aus einem Textprompt) synthetisiert unser Modell aus beliebigen Blickwinkeln die Erscheinung (Farbbild), die Geometrie (Szenenkoordinatenkarte) und die Semantik (Segmentierungskarte), wobei die räumliche Konsistenz zwischen den Modality-Modalitäten gewahrt bleibt. In unseren Experimenten erzielt SpatialGen konsistent bessere Ergebnisse als bisherige Ansätze. Wir stellen unsere Datensammlung und Modelle öffentlich zur Verfügung, um die Forschungsgemeinschaft zu stärken und die Entwicklung im Bereich der Innenraumverstehens und -generierung voranzutreiben.