9 天前

Mip-NeRF 360:无界抗锯齿神经辐射场

Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, Peter Hedman
Mip-NeRF 360:无界抗锯齿神经辐射场
摘要

尽管神经辐射场(NeRF)在物体及空间中较小的有界区域上已展现出令人印象深刻的视角合成效果,但在“无界”场景中仍面临挑战——此类场景中相机可朝任意方向拍摄,且内容可能存在于任意距离。在这一设定下,现有的NeRF类模型通常会产生模糊或低分辨率的渲染结果(由于近处与远处物体在细节和尺度上的不平衡),训练速度较慢,并可能因从少量图像重建大场景任务本身的固有歧义而出现伪影。为此,本文提出了一种对mip-NeRF(一种针对采样与混叠问题进行优化的NeRF变体)的扩展方法,该方法引入非线性场景参数化、在线蒸馏机制以及一种基于失真度的新正则化项,以有效应对无界场景带来的挑战。我们所提出的模型被命名为“mip-NeRF 360”,因其针对相机绕某一点实现360度旋转的场景进行建模。相较于原始的mip-NeRF,该模型在均方误差(MSE)上降低了57%,并能够为高度复杂、无界的现实世界场景生成逼真的合成视角与精细的深度图。