基于自定位点的Transformer用于点云理解

Transformer 模型在各种计算机视觉任务中表现出色，得益于其捕捉长距离依赖关系的能力。然而，由于点云数据中的点数导致的二次成本问题，直接将 Transformer 应用于点云仍然具有挑战性。本文提出了一种自定位点基 Transformer（SPoTr），旨在以降低复杂度的方式捕捉局部和全局形状上下文。具体而言，该架构由局部自注意力机制和自定位点基全局交叉注意力机制组成。自定位点根据输入形状自适应地定位，通过解耦注意力机制同时考虑空间和语义信息，从而提高模型的表达能力。借助这些自定位点，我们提出了一种新的适用于点云的全局交叉注意力机制，通过允许注意力模块仅使用少量的自定位点来计算注意力权重，提高了全局自注意力机制的可扩展性。实验结果表明，SPoTr 在形状分类、部件分割和场景分割等三项点云任务上表现出有效性。特别是在 ScanObjectNN 数据集上的形状分类任务中，我们的模型相比之前的最佳模型实现了 2.6% 的准确率提升。我们还提供了定性分析以展示自定位点的可解释性。SPoTr 的代码可在 https://github.com/mlvlab/SPoTr 获取。