9 天前
NeRFLiX:通过学习退化驱动的视点间混合器实现高质量神经视图合成
Kun Zhou, Wenbo Li, Yi Wang, Tao Hu, Nianjuan Jiang, Xiaoguang Han, Jiangbo Lu

摘要
神经辐射场(NeRF)在新视角合成任务中取得了显著成功。然而,在真实场景中,现有基于NeRF的方法仍难以从源图像中恢复出高质量的细节,这主要归因于潜在的标定信息不准确以及场景表示的偏差。即便使用高质量的训练图像,NeRF模型生成的新视角图像仍普遍存在明显的渲染伪影,如噪声、模糊等问题。为提升基于NeRF方法的合成质量,本文提出NeRFLiX——一种通用的、与NeRF无关的图像恢复范式,其核心是通过学习一种由退化驱动的跨视角混合机制实现优化。具体而言,我们设计了一种类NeRF的退化建模方法,并构建了大规模训练数据集,使得现有深度神经网络能够有效消除NeRF固有的渲染伪影。此外,除退化去除之外,我们进一步提出一种跨视角聚合框架,能够融合具有高度相关性的高质量训练图像,显著提升前沿NeRF模型的性能,生成高度逼真的合成视图。