3 个月前

MKConv:用于点云分析的多维特征表示

Sungmin Woo, Dogyoon Lee, Sangwon Hwang, Woojin Kim, Sangyoun Lee
MKConv:用于点云分析的多维特征表示
摘要

尽管深度学习取得了显著成功,但由于点云数据结构的不规则性,实现最优的卷积操作仍面临挑战。现有方法主要致力于设计一种有效的连续核函数,以处理连续空间中的任意点。尽管已提出多种性能优异的方法,但我们观察到,标准的点特征通常以一维通道形式表示,若其表示能够引入额外的空间特征维度,则信息表达能力将显著增强。本文提出一种新型卷积算子——多维核卷积(Multidimensional Kernel Convolution, MKConv),该算子能够学习将点特征表示从向量形式转换为多维矩阵形式。与标准点卷积不同,MKConv 采用两步策略:(i) 首先通过利用多维核权重,激活局部特征表示中的空间维度,生成空间扩展后的特征。这些特征不仅能够通过空间相关性,还能通过特征空间中的通道相关性,更充分地表征其内在结构信息,从而携带更丰富的局部几何细节;(ii) 随后对所得的多维特征(可视为网格结构的矩阵)应用离散卷积操作。该方法使我们能够在不进行体素化(voxelization)的前提下,有效利用离散卷积处理点云数据,避免了体素化带来的信息损失。此外,本文还提出一种空间注意力模块——多维局部注意力(Multidimensional Local Attention, MLA),通过重新加权空间特征维度,增强局部点集内的结构感知能力。实验结果表明,MKConv 在点云处理任务中具有优异的适用性,包括物体分类、物体部件分割以及场景语义分割,在各项任务中均取得了领先性能。