CIPS-3D : Un générateur de GANs basé sur la synthèse de pixels conditionnellement indépendants et conscient des 3D

L'architecture de GAN basée sur le style (StyleGAN) a obtenu des résultats de pointe pour la génération d'images de haute qualité, mais elle manque de contrôle explicite et précis sur les poses caméra. Les GANs récemment proposés basés sur NeRF ont fait d'importants progrès vers des générateurs conscients en 3D, mais ils ne sont pas encore capables de générer des images de haute qualité. Ce document présente CIPS-3D, un générateur basé sur le style et conscient en 3D, composé d'un réseau NeRF superficiel et d'un réseau de représentation neurale implicite profond (INR). Le générateur synthétise chaque valeur de pixel indépendamment sans aucune opération de convolution spatiale ou d'échantillonnage ascendant. De plus, nous diagnostiquons le problème de symétrie miroir qui implique une solution sous-optimale et le résolvons en introduisant un discriminant auxiliaire. Formé sur des images monovues brutes, CIPS-3D établit de nouveaux records pour la synthèse d'images conscientes en 3D avec un FID impressionnant de 6,97 pour des images à la résolution $256 \times 256$ sur FFHQ. Nous démontrons également plusieurs directions intéressantes pour CIPS-3D, telles que l'apprentissage par transfert et la stylisation faciale consciente en 3D. Les résultats de synthèse sont mieux visualisés sous forme de vidéos, nous recommandons donc aux lecteurs de consulter notre projet GitHub à l'adresse suivante : https://github.com/PeterouZh/CIPS-3D