17 天前

基于解耦模态的交叉注意力机制用于基于Transformer的3D人体网格恢复

Junhyeong Cho, Kim Youwang, Tae-Hyun Oh
基于解耦模态的交叉注意力机制用于基于Transformer的3D人体网格恢复
摘要

近年来,基于Transformer编码器的架构在单目3D人体网格重建任务中取得了最先进的性能,但这类模型通常需要大量参数和高昂的计算开销。由于内存占用大、推理速度慢,难以在实际场景中部署。本文提出一种新型的Transformer编码器-解码器架构,用于从单张图像重建3D人体网格,命名为FastMETRO。我们发现,基于编码器的Transformer性能瓶颈主要源于输入token的设计,该设计引入了token之间的高复杂度交互。通过采用编码器-解码器架构,我们解耦了这些交互关系,使得模型显著减少参数量并大幅缩短推理时间。此外,我们通过注意力掩码(attention masking)和网格上采样操作引入人体形态学先验知识,有效提升了模型的收敛速度与重建精度。实验结果表明,FastMETRO在准确率与效率的权衡(Pareto-front)上实现显著优化,在Human3.6M和3DPW数据集上明显优于现有基于图像的方法。同时,我们在FreiHAND数据集上验证了该方法的良好泛化能力。