基于子划分的网格卷积网络

卷积神经网络（CNNs）在二维计算机视觉领域取得了重大突破。然而，由于其结构不规则，难以直接将CNN的潜力应用于三角网格数据。细分曲面（subdivision surface）提供了一种分层的多分辨率结构，其中闭合的2-流形三角网格中每个面恰好与三个相邻面相连。基于上述两个观察，本文提出了一种创新且通用的CNN框架——SubdivNet，用于处理具有Loop细分序列连通性的三维三角网格。通过将网格面与二维图像中的像素类比，我们设计了一种网格卷积算子，能够聚合邻近面的局部特征。借助面邻域的结构特性，该卷积操作可支持标准二维卷积网络中的多种概念，如可变卷积核大小、步长（stride）和空洞率（dilation）。基于多分辨率层次结构，我们引入了池化层，可将四个面均匀合并为一个面；同时设计了一种上采样方法，将一个面分割为四个面。由此，众多流行的二维CNN架构可被轻松适配以处理三维网格数据。对于任意连通性结构的网格，可通过自参数化方法重采样为具有Loop细分序列连通性的网格，从而使得SubdivNet具备通用性。大量实验评估与多样化应用充分验证了SubdivNet在性能与效率方面的有效性。