HyperAIHyperAI

Command Palette

Search for a command to run...

Unique3D: Erzeugung hochwertiger und effizienter 3D-Gitter aus einem einzelnen Bild

Kailu Wu Fangfu Liu Zhihan Cai Runjie Yan Hanyang Wang Yating Hu Yueqi Duan† Kaisheng Ma†

Zusammenfassung

In dieser Arbeit stellen wir Unique3D vor, ein neues Framework zur effizienten Erstellung hochwertiger 3D-Gitter aus Einzelsichtbildern, das sich durch eine Spitzenleistung in der Generierung und starke Generalisierbarkeit auszeichnet. Frühere Methoden, die auf Score-Distillation-Sampling (SDS) basieren, können durch Extraktion von 3D-Wissen aus großen 2D-Diffusionsmodellen vielfältige 3D-Ergebnisse erzeugen, leiden jedoch oft unter langen Optimierungszeiten pro Fall und inkonsistenten Problemen. Kürzliche Arbeiten beheben dieses Problem und erzeugen bessere 3D-Ergebnisse entweder durch Feinabstimmung eines mehrsichtigen Diffusionsmodells oder durch Training eines schnellen Feedforward-Modells. Dennoch fehlen ihnen noch detaillierte Texturen und komplexe Geometrien aufgrund von Inkonsistenzen und einer begrenzten Auflösung der generierten Bilder. Um gleichzeitig hohe Genauigkeit, Konsistenz und Effizienz bei der Umwandlung von Einzelsichtbildern in 3D zu erreichen, schlagen wir ein neues Framework Unique3D vor, das ein mehrsichtiges Diffusionsmodell mit einem entsprechenden Normal-Diffusionsmodell umfasst, um mehrsichtige Bilder mit ihren Normalkarten zu generieren. Zudem enthält es einen mehrstufigen Aufskalierungsprozess, um die Auflösung der generierten orthografischen Mehrsichten schrittweise zu verbessern, sowie einen sofortigen und konsistenten Gitterrekonstruktionsalgorithmus namens ISOMER, der Farb- und geometrische A-priori-Kenntnisse vollständig in die Gitterergebnisse integriert. Ausführliche Experimente zeigen, dass unser Unique3D andere Baseline-Methoden für die Umwandlung von Bildern in 3D hinsichtlich geometrischer und texturerter Details deutlich übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp