pi-GAN : Réseaux de Génération Adversariaux Implicites Périodiques pour la Synthèse d'Images 3D-Conscientes

Nous avons assisté à des progrès rapides dans la synthèse d'images 3D-aware, en tirant parti des récentes avancées dans les modèles visuels génératifs et le rendu neuronal. Cependant, les approches existantes présentent deux lacunes : premièrement, elles peuvent manquer d'une représentation 3D sous-jacente ou s'appuyer sur un rendu non cohérent selon les vues, ce qui entraîne la génération d'images qui ne sont pas cohérentes en multi-vue ; deuxièmement, elles dépendent souvent de architectures de réseaux de représentation qui ne sont pas suffisamment expressives, et leurs résultats manquent donc de qualité d'image. Nous proposons un nouveau modèle génératif, appelé Periodic Implicit Generative Adversarial Networks ($\pi$-GAN ou pi-GAN), pour la synthèse d'images 3D-aware de haute qualité. Le $\pi$-GAN utilise des représentations neuronales avec des fonctions d'activation périodiques et du rendu volumétrique pour représenter les scènes sous forme de représentations 3D cohérentes selon les vues, avec des détails fins. L'approche proposée obtient des résultats de pointe pour la synthèse d'images 3D-aware avec plusieurs jeux de données réels et synthétiques.