编辑条件辐射场

神经辐射场（Neural Radiance Field, NeRF）是一种支持高质量视角合成的场景模型，其优化过程针对每个场景独立进行。本文研究如何实现对类别级NeRF——也称为条件辐射场（conditional radiance field）——的用户编辑，该模型是在某一类物体形状数据集上训练得到的。具体而言，我们提出一种方法，将粗略的2D用户涂鸦（scribbles）传播至3D空间，以修改局部区域的颜色或形状。首先，我们设计了一种新型条件辐射场架构，引入了新的模块化网络组件，其中包含一个在不同物体实例间共享的形状分支。通过观察同一类别下的多个实例，我们的模型能够在无监督条件下学习到潜在的部件语义结构，从而实现将粗略的2D用户涂鸦准确传播至整个3D对应区域（例如椅子的坐垫部分）。其次，我们提出一种混合网络更新策略，能够针对性地优化特定网络组件，在效率与精度之间取得良好平衡。在用户交互过程中，我们构建了一个优化问题，该问题在满足用户约束的同时，有效保持原始物体的结构完整性。我们在三个不同的形状数据集上对多种编辑任务进行了实验验证，结果表明，所提方法在性能上优于现有的神经编辑方法。最后，我们将该方法应用于真实照片的外观与形状编辑，并展示了编辑效果能够自然地推广至外推生成的新视角中，验证了其在真实场景下的有效性与泛化能力。