HyperAIHyperAI

Command Palette

Search for a command to run...

CIPS-3D: Ein 3D-bewusster Generator von GANs auf Basis bedingt-unabhängiger Pixel-Synthese

Peng Zhou Lingxi Xie Bingbing Ni Qi Tian

Zusammenfassung

Die auf Stil basierte GAN-Architektur (StyleGAN) erzielte erstklassige Ergebnisse bei der Generierung hochwertiger Bilder, verfügt jedoch über keine explizite und präzise Kontrolle über Kamerapositionen. Die kürzlich vorgeschlagenen NeRF-basierten GANs machten große Fortschritte in Richtung 3D-bewusster Generatoren, sind aber noch nicht in der Lage, hochwertige Bilder zu erzeugen. In dieser Arbeit wird CIPS-3D vorgestellt, ein stilbasierter, 3D-bewusster Generator, der aus einem flachen NeRF-Netzwerk und einem tiefen impliziten neuronalen Repräsentationsnetzwerk (INR) besteht. Der Generator synthetisiert jeden Pixelwert unabhängig voneinander, ohne dabei räumliche Faltungen oder Upsampling-Operationen durchzuführen. Darüber hinaus diagnostizieren wir das Problem der Spiegelsymmetrie, das eine suboptimale Lösung andeutet, und lösen es durch die Einführung eines Hilfsdiskriminators. Trainiert auf rohen, eingleichenden Bildern erreicht CIPS-3D neue Rekordwerte für 3D-bewusste Bildsynthese mit einer beeindruckenden FID von 6,97 für Bilder in der Auflösung 256×256256 \times 256256×256 auf FFHQ. Wir demonstrieren zudem mehrere interessante Anwendungsmöglichkeiten von CIPS-3D, wie z.B. Transferlearning und 3D-bewusste Gesichtsstylisierung. Die Synthesizergebnisse lassen sich am besten als Videos betrachten; daher empfehlen wir den Lesern, unser GitHub-Projekt unter https://github.com/PeterouZh/CIPS-3D zu konsultieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CIPS-3D: Ein 3D-bewusster Generator von GANs auf Basis bedingt-unabhängiger Pixel-Synthese | Paper | HyperAI