AdaPoinTr：基于自适应几何感知Transformer的多样化点云补全

本文提出了一种新方法，将点云补全问题重新建模为集合到集合的翻译任务，并设计了一种名为 PoinTr 的新型模型。该模型采用 Transformer 编码器-解码器架构，用于点云补全。通过将点云表示为带有位置嵌入的无序点组集合，我们将输入数据转换为点代理序列，并利用 Transformer 进行生成。为进一步帮助 Transformer 更好地利用点云在三维几何结构上的归纳偏置，我们进一步设计了一种几何感知模块，显式建模局部几何关系。Transformer 架构的引入使模型能够更有效地学习结构化知识，并在补全过程中更好地保留细节信息。为进一步应对更复杂多样的实际场景，我们进一步提出了 AdaPoinTr，通过引入自适应查询生成机制，并在点云补全过程设计了一种新颖的去噪任务。结合这两种技术，我们实现了高效且有效的模型训练：训练时间显著缩短（提升超过15倍），同时补全性能提升超过20%。此外，我们还通过构建一种新型的几何增强语义场景补全框架，证明了该方法可扩展至场景级点云补全任务。在现有及新提出的多个数据集上进行的大量实验表明，本方法具有卓越的性能，在 PCN 数据集上达到 6.53 的 Chamfer Distance（CD），在 ShapeNet-55 上达到 0.81 的 CD，在真实世界 KITTI 数据集上达到 0.392 的 MMD，显著超越现有方法，建立了多个基准上的新最先进水平。尤为突出的是，AdaPoinTr 在实际应用中不仅取得了优异的补全性能，还具备更高的吞吐量和更低的浮点运算量（FLOPs），相较于以往最优方法具有明显优势。代码与数据集已开源，地址为：https://github.com/yuxumin/PoinTr