HyperAIHyperAI

Command Palette

Search for a command to run...

SPATIALGEN: layoutgeleitete Generierung 3D-Innenräume

Chuan Fang Heng Li Yixun Liang Jia Zheng Yongsen Mao Yuan Liu Rui Tang Zihan Zhou Ping Tan

Zusammenfassung

Die Erstellung hochwertiger 3D-Modelle von Innenräumen ist für Anwendungen im Bereich Design, virtuelle Realität und Robotik von entscheidender Bedeutung. Doch die manuelle 3D-Modellierung bleibt nach wie vor zeitaufwendig und arbeitsintensiv. Obwohl in jüngster Zeit Fortschritte im Bereich generativer KI die automatisierte Szenensynthese ermöglicht haben, stoßen bestehende Methoden häufig auf Herausforderungen bei der Balance zwischen visueller Qualität, Vielfalt, semantischer Konsistenz und Benutzerkontrolle. Ein zentrales Hindernis ist die fehlende Verfügbarkeit einer großskaligen, hochwertigen Datensammlung, die speziell für diese Aufgabe konzipiert ist. Um diese Lücke zu schließen, stellen wir eine umfassende synthetische Datensammlung vor, die 12.328 strukturiert annotierte Szenen mit insgesamt 57.440 Räumen sowie 4,7 Millionen fotorealistische 2D-Renderings umfasst. Auf Basis dieser Datensammlung präsentieren wir SpatialGen, ein neuartiges Multi-View-Multi-Modality-Diffusionsmodell, das realistische und semantisch konsistente 3D-Innenräume generiert. Gegeben eine 3D-Layout-Struktur und ein Referenzbild (abgeleitet aus einem Textprompt) synthetisiert unser Modell aus beliebigen Blickwinkeln die Erscheinung (Farbbild), die Geometrie (Szenenkoordinatenkarte) und die Semantik (Segmentierungskarte), wobei die räumliche Konsistenz zwischen den Modality-Modalitäten gewahrt bleibt. In unseren Experimenten erzielt SpatialGen konsistent bessere Ergebnisse als bisherige Ansätze. Wir stellen unsere Datensammlung und Modelle öffentlich zur Verfügung, um die Forschungsgemeinschaft zu stärken und die Entwicklung im Bereich der Innenraumverstehens und -generierung voranzutreiben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp