Unique3D: Erzeugung hochwertiger und effizienter 3D-Gitter aus einem einzelnen Bild

In dieser Arbeit stellen wir Unique3D vor, ein neues Framework zur effizienten Erstellung hochwertiger 3D-Gitter aus Einzelsichtbildern, das sich durch eine Spitzenleistung in der Generierung und starke Generalisierbarkeit auszeichnet. Frühere Methoden, die auf Score-Distillation-Sampling (SDS) basieren, können durch Extraktion von 3D-Wissen aus großen 2D-Diffusionsmodellen vielfältige 3D-Ergebnisse erzeugen, leiden jedoch oft unter langen Optimierungszeiten pro Fall und inkonsistenten Problemen. Kürzliche Arbeiten beheben dieses Problem und erzeugen bessere 3D-Ergebnisse entweder durch Feinabstimmung eines mehrsichtigen Diffusionsmodells oder durch Training eines schnellen Feedforward-Modells. Dennoch fehlen ihnen noch detaillierte Texturen und komplexe Geometrien aufgrund von Inkonsistenzen und einer begrenzten Auflösung der generierten Bilder. Um gleichzeitig hohe Genauigkeit, Konsistenz und Effizienz bei der Umwandlung von Einzelsichtbildern in 3D zu erreichen, schlagen wir ein neues Framework Unique3D vor, das ein mehrsichtiges Diffusionsmodell mit einem entsprechenden Normal-Diffusionsmodell umfasst, um mehrsichtige Bilder mit ihren Normalkarten zu generieren. Zudem enthält es einen mehrstufigen Aufskalierungsprozess, um die Auflösung der generierten orthografischen Mehrsichten schrittweise zu verbessern, sowie einen sofortigen und konsistenten Gitterrekonstruktionsalgorithmus namens ISOMER, der Farb- und geometrische A-priori-Kenntnisse vollständig in die Gitterergebnisse integriert. Ausführliche Experimente zeigen, dass unser Unique3D andere Baseline-Methoden für die Umwandlung von Bildern in 3D hinsichtlich geometrischer und texturerter Details deutlich übertrifft.