基于Transformer的多视角三维重建

基于深度卷积神经网络（Deep CNN）的方法在多视角3D物体重建任务中迄今已取得最先进的性能。尽管取得了显著进展，但这类方法的两个核心模块——多视角特征提取与特征融合——通常被分别研究，且对不同视角间物体关系的探索仍十分有限。受近期基于自注意力机制的Transformer模型取得巨大成功的启发，本文将多视角3D重建问题重新建模为序列到序列的预测任务，并提出一种名为3D体积Transformer（3D Volume Transformer, VolT）的新框架。与以往采用独立设计的CNN方法不同，本工作在单一Transformer网络中统一实现了特征提取与视角融合。该设计的一个自然优势在于，能够通过多个无序输入之间的自注意力机制，有效建模视角之间的相互关系。在大规模3D重建基准数据集ShapeNet上的实验表明，所提方法在多视角重建任务中达到了新的最先进性能，且参数量比其他基于CNN的方法减少了70%。实验结果还表明，该方法具有强大的可扩展性。相关代码将公开发布。