17 天前

球面图像与曲面的插值选择卷积

David Hart, Michael Whitney, Bryan Morse
球面图像与曲面的插值选择卷积
摘要

我们提出了一种用于球面(或全向)图像卷积神经网络操作的新颖且通用的框架。该方法将球面表面表示为由相连点构成的图结构,不依赖于特定的采样策略。此外,通过采用SelectionConv的插值版本,我们能够在保持现有二维卷积神经网络(2D CNN)及其权重不变的前提下,直接在球面上进行运算。由于本方法充分利用了现有的图结构实现,因此具有较高的计算效率,且支持高效微调。该方法具有足够的通用性,可适用于任意类型的曲面,包括拓扑结构复杂的非简单曲面。我们在球面图像的风格迁移、分割任务以及三维网格的风格化处理中验证了该技术的有效性。同时,我们还对多种球面采样策略的性能进行了详尽的消融实验分析。