Wonder3D: Von einer einzelnen Bild zu 3D mit Hilfe der cross-domain Diffusion

In dieser Arbeit stellen wir Wonder3D vor, eine neuartige Methode zur effizienten Generierung hochauflösender texturierter Netze aus einbildlichen Aufnahmen. Kürzlich entwickelte Methoden, die auf Score-Distillation-Sampling (SDS) basieren, haben das Potenzial gezeigt, 3D-Geometrie aus 2D-Diffusionspriors zu rekonstruieren. Sie leiden jedoch in der Regel an zeitaufwendiger Formoptimierung und inkonsistenter Geometrie. Im Gegensatz dazu erzeugen bestimmte Arbeiten 3D-Informationen direkt durch schnelle Netzwerkinferenzen, aber ihre Ergebnisse sind oft von geringer Qualität und fehlen geometrische Details. Um die Qualität, Konsistenz und Effizienz von Bild-zu-3D-Aufgaben umfassend zu verbessern, schlagen wir ein cross-domain Diffusionsmodell vor, das mehrblickige Normalabbildungen und die entsprechenden Farbaufnahmen generiert. Um Konsistenz sicherzustellen, verwenden wir einen mehrblickigen cross-domain Aufmerksamkeitsmechanismus, der den Informationsaustausch zwischen verschiedenen Blickwinkeln und Modalitäten erleichtert. Schließlich führen wir einen geometriebewussten Algorithmus zur Fusion von Normalabbildungen ein, der hochwertige Oberflächen aus den mehrblickigen 2D-Darstellungen extrahiert. Unsere umfangreichen Evaluierungen zeigen, dass unsere Methode hochoptimale Rekonstruktionsergebnisse, robuste Generalisierungsfähigkeiten und vergleichsweise gute Effizienz im Vergleich zu früheren Arbeiten erreicht.