CIPS-3D: Ein 3D-bewusster Generator von GANs auf Basis bedingt-unabhängiger Pixel-Synthese

Die auf Stil basierte GAN-Architektur (StyleGAN) erzielte erstklassige Ergebnisse bei der Generierung hochwertiger Bilder, verfügt jedoch über keine explizite und präzise Kontrolle über Kamerapositionen. Die kürzlich vorgeschlagenen NeRF-basierten GANs machten große Fortschritte in Richtung 3D-bewusster Generatoren, sind aber noch nicht in der Lage, hochwertige Bilder zu erzeugen. In dieser Arbeit wird CIPS-3D vorgestellt, ein stilbasierter, 3D-bewusster Generator, der aus einem flachen NeRF-Netzwerk und einem tiefen impliziten neuronalen Repräsentationsnetzwerk (INR) besteht. Der Generator synthetisiert jeden Pixelwert unabhängig voneinander, ohne dabei räumliche Faltungen oder Upsampling-Operationen durchzuführen. Darüber hinaus diagnostizieren wir das Problem der Spiegelsymmetrie, das eine suboptimale Lösung andeutet, und lösen es durch die Einführung eines Hilfsdiskriminators. Trainiert auf rohen, eingleichenden Bildern erreicht CIPS-3D neue Rekordwerte für 3D-bewusste Bildsynthese mit einer beeindruckenden FID von 6,97 für Bilder in der Auflösung $256 \times 256$ auf FFHQ. Wir demonstrieren zudem mehrere interessante Anwendungsmöglichkeiten von CIPS-3D, wie z.B. Transferlearning und 3D-bewusste Gesichtsstylisierung. Die Synthesizergebnisse lassen sich am besten als Videos betrachten; daher empfehlen wir den Lesern, unser GitHub-Projekt unter https://github.com/PeterouZh/CIPS-3D zu konsultieren.