HyperAIHyperAI

Command Palette

Search for a command to run...

基于Transformer的多视角三维重建

Dan Wang Xinrui Cui Xun Chen Zhengxia Zou Tianyang Shi Septimiu Salcudean Z. Jane Wang Rabab Ward

摘要

基于深度卷积神经网络(Deep CNN)的方法在多视角3D物体重建任务中迄今已取得最先进的性能。尽管取得了显著进展,但这类方法的两个核心模块——多视角特征提取与特征融合——通常被分别研究,且对不同视角间物体关系的探索仍十分有限。受近期基于自注意力机制的Transformer模型取得巨大成功的启发,本文将多视角3D重建问题重新建模为序列到序列的预测任务,并提出一种名为3D体积Transformer(3D Volume Transformer, VolT)的新框架。与以往采用独立设计的CNN方法不同,本工作在单一Transformer网络中统一实现了特征提取与视角融合。该设计的一个自然优势在于,能够通过多个无序输入之间的自注意力机制,有效建模视角之间的相互关系。在大规模3D重建基准数据集ShapeNet上的实验表明,所提方法在多视角重建任务中达到了新的最先进性能,且参数量比其他基于CNN的方法减少了70%。实验结果还表明,该方法具有强大的可扩展性。相关代码将公开发布。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供