9 天前
MobileNeRF:利用多边形光栅化管线实现移动端架构上的高效神经场渲染
Zhiqin Chen, Thomas Funkhouser, Peter Hedman, Andrea Tagliasacchi

摘要
神经辐射场(NeRFs)在从新视角合成三维场景图像方面展现出卓越的能力。然而,现有方法依赖于基于光线追踪(ray marching)的专用体素渲染算法,这类算法与广泛部署的图形硬件性能不匹配,限制了其实际应用。本文提出一种基于纹理多边形的新式NeRF表示方法,能够通过标准渲染管线高效合成新视角图像。该方法将NeRF表示为一组带有纹理的多边形,其中纹理分别编码二值透明度(binary opacity)和特征向量。利用传统的z缓冲(z-buffer)多边形渲染方式对这些多边形进行绘制,即可在每个像素位置生成对应的特征信息;随后,一个小型、视角相关的多层感知机(MLP)在片段着色器(fragment shader)中运行,将这些特征映射为最终像素颜色。该方法使NeRF能够兼容传统的多边形光栅化渲染流水线,充分利用像素级大规模并行计算能力,从而在多种计算平台(包括移动设备)上实现交互式帧率的渲染性能。