HyperAIHyperAI

Command Palette

Search for a command to run...

SyncDreamer: Generierung von multiview-konsistenten Bildern aus einem einzigartigen Blickwinkelbild

Yuan Liu Cheng Lin Zijiao Zeng Xiaoxiao Long Lingjie Liu Taku Komura Wenping Wang

Zusammenfassung

In dieser Arbeit stellen wir ein neues Diffusionsmodell vor, das aus einem Einzelbild mehrblickwinkeltreue Bilder generiert. Unter Verwendung von vortrainierten großskaligen 2D-Diffusionsmodellen zeigt die jüngste Arbeit Zero123 die Fähigkeit, plausible neue Ansichten eines Objekts aus einem Einzelbild zu generieren. Dennoch bleibt es eine Herausforderung, Geometrie und Farben in den generierten Bildern konsistent zu halten. Um dieses Problem zu lösen, schlagen wir ein synchronisiertes Mehrblick-Diffusionsmodell vor, das die gemeinsame Wahrscheinlichkeitsverteilung von Mehrblickbildern modelliert und so die Generierung von mehrblickwinkeltreuen Bildern in einem einzigen Rückwärtsweg ermöglicht. SyncDreamer synchronisiert die Zwischenzustände aller generierten Bilder in jedem Schritt des Rückwärtswegs durch einen 3D-bewussten Feature-Aufmerksamkeitsmechanismus (3D-aware feature attention mechanism), der die entsprechenden Merkmale über verschiedene Ansichten hinweg korreliert. Experimente zeigen, dass SyncDreamer Bilder mit hoher Konsistenz über verschiedene Ansichten hinweg generiert, wodurch es sich gut für verschiedene 3D-Generierungsaufgaben wie Neublicksynthese (novel-view-synthesis), Text-zu-3D und Bild-zu-3D eignet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp