Command Palette
Search for a command to run...
Native und kompakte strukturierte Latentvariablen für die 3D-Generierung
Native und kompakte strukturierte Latentvariablen für die 3D-Generierung
Zusammenfassung
Neue Fortschritte in der 3D-generativen Modellierung haben die Realitätsnähe der generierten Objekte erheblich verbessert. Dennoch bleibt die Forschung weiterhin durch bestehende Darstellungsformen eingeschränkt, die Schwierigkeiten haben, Objekte mit komplexen Topologien und detaillierten Oberflächenmerkmalen adäquat zu erfassen. In diesem Artikel präsentieren wir einen Ansatz zur Lernung einer strukturierten latenten Darstellung aus nativen 3D-Daten, um diese Herausforderung zu bewältigen. Kernstück ist eine neue spärliche Voxel-Struktur namens O-Voxel – eine Omni-Voxel-Darstellung, die sowohl Geometrie als auch Erscheinungsbild kodiert. O-Voxel ermöglicht eine robuste Modellierung beliebiger Topologien, einschließlich offener, nicht-manifold und vollständig geschlossener Oberflächen, und erfasst zudem umfassende Oberflächenattribute jenseits der Texturfarbe, beispielsweise physikalisch basierte Rendering-Parameter. Auf Basis von O-Voxel entwickeln wir einen Sparse Compression VAE, der eine hohe räumliche Kompression und einen kompakten latenten Raum bietet. Wir trainieren großskalige Flow-Matching-Modelle mit insgesamt 4 Milliarden Parametern für die 3D-Generierung unter Verwendung vielfältiger öffentlicher 3D-Asset-Datensätze. Trotz ihrer Größe bleibt die Inferenz äußerst effizient. Gleichzeitig übertrifft die Geometrie und Materialqualität unserer generierten Objekte jene bestehender Modelle deutlich. Wir sind überzeugt, dass unser Ansatz einen bedeutenden Fortschritt in der 3D-generativen Modellierung darstellt.