2 个月前

类连续条件生成神经辐射场

Kim, Jiwook ; Lee, Minhyeok
类连续条件生成神经辐射场
摘要

三维感知图像合成不仅关注生成高分辨率且细节丰富的图像,还注重保持空间一致性。最近,神经辐射场(NeRF)被引入用于以较低的计算成本和卓越的性能合成新视角。尽管已有几项研究探讨了生成式NeRF并取得了显著成果,但它们无法在生成过程中处理条件性和连续特征操作。在这项工作中,我们提出了一种新的模型,称为类别-连续条件生成NeRF($\text{C}^{3}$G-NeRF),该模型通过将条件特征投影到生成器和判别器中,能够有条件地操纵合成逼真的三维一致图像。所提出的$\text{C}^{3}$G-NeRF模型在三个图像数据集AFHQ、CelebA和Cars上进行了评估。结果表明,我们的模型在条件特征操作中表现出强大的三维一致性、精细的细节和平滑的插值效果。例如,在分辨率为$\text{128}^{2}$的三维感知面部图像合成中,$\text{C}^{3}$G-NeRF展示了7.64的Fréchet inception距离(FID)。此外,由于可以使用$\text{C}^{3}$G-NeRF合成类别条件图像,我们还提供了每个数据集类别的生成三维感知图像的FID值。