13 天前

GENIE:用于神经辐射场交互编辑的高斯编码

Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek
GENIE:用于神经辐射场交互编辑的高斯编码
摘要

神经辐射场(Neural Radiance Fields, NeRF)与高斯点绘(Gaussian Splatting, GS)近年来彻底改变了三维场景的表示与渲染方式。NeRF 通过神经网络学习体素化表示,实现了高保真的新视角合成,但其隐式编码机制使得编辑操作与物理交互变得困难。相比之下,GS 将场景显式地表示为高斯基元的集合,支持实时渲染、更快的训练速度以及更直观的操控。这种显式结构使 GS 特别适用于交互式编辑,并能与基于物理的仿真系统良好集成。本文提出 GENIE(Gaussian Encoding for Neural Radiance Fields Interactive Editing),一种融合 NeRF 的逼真渲染质量与 GS 的可编辑性及结构化表示的混合模型。不同于传统使用球谐函数进行外观建模的方法,我们为每个高斯基元分配一个可训练的特征嵌入(feature embedding),并基于查询点周围最近的 k 个高斯基元来条件化一个 NeRF 网络。为实现高效条件化,我们引入了基于改进光线追踪流程的快速最近邻高斯搜索方法——射线追踪高斯邻近搜索(Ray-Traced Gaussian Proximity Search, RT-GPS)。此外,我们还引入了多分辨率哈希网格,用于初始化和动态更新高斯特征。上述组件协同工作,实现了实时、局部感知的交互式编辑:当高斯基元被重新定位或修改时,其插值影响会立即反映在渲染结果中。通过融合隐式与显式表示的优势,GENIE 支持直观的场景操控、动态交互,并具备与物理仿真兼容的能力,有效弥合了基于几何的编辑与神经渲染之间的鸿沟。项目代码详见:https://github.com/MikolajZielinski/genie