通过点特征增强的掩码自动编码器实现紧凑的3D表示

学习三维表示在基于掩码自动编码器（MAE）的点云预训练方法中发挥着关键作用，包括单模态和跨模态的MAE方法。具体而言，尽管跨模态MAE方法通过其他模态知识的辅助学习到强大的三维表示，但它们通常面临沉重的计算负担，并且严重依赖于大量难以获取的跨模态数据对，这限制了它们在实际应用中的推广。相比之下，仅以点云为输入的单模态方法因其简单性和高效性而在实际应用中更为受欢迎。然而，这类方法容易因全局随机掩码输入而产生有限的三维表示。为了学习更加紧凑的三维表示，我们提出了一种简单而有效的点特征增强掩码自动编码器（Point-FEMAE），该模型主要由一个全局分支和一个局部分支组成，用于捕捉潜在的语义特征。具体来说，为了学习更紧凑的特征，引入了一个共享参数的Transformer编码器，从通过全局随机掩码和局部块掩码策略获得的全局和局部未掩码补丁中提取点特征，并通过特定解码器进行重建。同时，为了进一步增强局部分支中的特征，我们提出了一种带有局部补丁卷积的局部增强模块（Local Enhancement Module），以便在更大尺度上感知细粒度的局部上下文。我们的方法相比跨模态替代方案显著提高了预训练效率，并且大量的下游实验表明其具有最先进的有效性。特别是在ScanObjectNN三个变体上的表现分别超过了基线模型（Point-MAE）5.16%、5.00% 和 5.04%。代码可在以下地址获取：https://github.com/zyh16143998882/AAAI24-PointFEMAE。