Champ-Continu Conditionnel Génératif de Rayonnement Neuronal

La synthèse d'images 3D-aware se concentre sur la conservation de la cohérence spatiale en plus de la génération d'images à haute résolution avec des détails fins. Récemment, le champ de rayonnement neuronal (NeRF) a été introduit pour synthétiser de nouvelles vues avec un coût computationnel faible et des performances supérieures. Bien que plusieurs travaux aient étudié un NeRF génératif et aient montré des réalisations remarquables, ils ne peuvent pas gérer la manipulation conditionnelle et continue des caractéristiques dans le processus de génération. Dans ce travail, nous présentons un nouveau modèle appelé Class-Continuous Conditional Generative NeRF ($\text{C}^{3}$G-NeRF), capable de synthétiser des images photoréalistes 3D-cohérentes manipulées conditionnellement en projetant les caractéristiques conditionnelles vers le générateur et le discriminateur. Le $\text{C}^{3}$G-NeRF proposé est évalué sur trois ensembles de données d'images : AFHQ, CelebA et Cars. En conséquence, notre modèle montre une forte cohérence 3D avec des détails fins et une interpolation fluide lors de la manipulation conditionnelle des caractéristiques. Par exemple, $\text{C}^{3}$G-NeRF présente une distance Fréchet Inception (FID) de 7,64 dans la synthèse d'images faciales 3D-aware à une résolution de $\text{128}^{2}$. De plus, nous fournissons les FIDs des images 3D-aware générées pour chaque classe des ensembles de données, car il est possible de synthétiser des images conditionnelles par classe avec $\text{C}^{3}$G-NeRF.