CLiFT：用于计算高效和自适应神经渲染的压缩光场标记

本文提出了一种神经渲染方法，该方法将场景表示为“压缩光场令牌（CLiFTs）”，保留了场景的丰富外观和几何信息。CLiFT通过使用压缩令牌实现了计算高效的渲染，同时能够在单个训练网络中改变令牌数量以表示场景或渲染新视角。具体而言，给定一组图像，多视图编码器根据相机姿态对图像进行分词。潜在空间K均值利用这些令牌选择一组减少的射线作为聚类中心。多视图“浓缩器”将所有令牌的信息压缩到中心令牌中，构建CLiFTs。在测试阶段，给定目标视角和计算预算（即CLiFTs的数量），系统收集指定数量的邻近令牌，并使用计算自适应渲染器合成新视角。我们在RealEstate10K和DL3DV数据集上进行了广泛的实验，从定量和定性的角度验证了我们的方法，在实现显著数据量减少的同时，达到了可比的渲染质量和最高的总体渲染分数，并提供了数据量、渲染质量和渲染速度之间的权衡。