2 个月前
TextureNet:用于从网格上的高分辨率信号中学习的一致局部参数化方法
Jingwei Huang; Haotian Zhang; Li Yi; Thomas Funkhouser; Matthias Nießner; Leonidas Guibas

摘要
我们介绍了一种名为TextureNet的神经网络架构,该架构旨在从与3D表面网格相关的高分辨率信号(例如,颜色纹理贴图)中提取特征。其核心思想是利用一个4重旋转对称(4-RoSy)场来定义表面上卷积的域。尽管4-RoSy场具有多个有利于表面卷积的特性(如低失真、较少的奇点、一致的参数化等),但在任何采样点上,方向最多可以有四倍的旋转不确定性。因此,我们引入了一种新的卷积算子,该算子对4-RoSy场的方向不确定性具有不变性,并将其用于网络中,以从表面测地线邻域内的高分辨率信号中提取特征。与PointNet等缺乏方向概念的方法相比,这些邻域提供的连贯结构能够生成显著更强的特征。作为示例应用,我们展示了该架构在带纹理3D网格的3D语义分割中的优势。结果显示,在仅几何信息(6.4%)和RGB+几何信息(6.9%-8.2%)两种设置下,我们的方法在平均交并比(IoU)方面均显著优于所有现有方法。