摘要
我们提出了一种名为双交叉注意力（Dual Cross-Attention, DCA）的简单而高效的注意力模块，该模块能够有效增强基于U-Net架构的医学图像分割中跳跃连接（skip-connection）的性能。DCA通过依次捕捉多尺度编码器特征间的通道依赖与空间依赖，缓解了编码器与解码器特征之间的语义鸿沟。首先，通道交叉注意力（Channel Cross-Attention, CCA）利用多尺度编码器特征中通道维度上的令牌（token）进行跨通道注意力计算，提取全局通道级依赖关系；随后，空间交叉注意力（Spatial Cross-Attention, SCA）模块通过跨空间令牌的注意力机制，捕获空间维度上的依赖关系。最终，经过精细化处理的编码器特征被上采样，并与对应的解码器部分连接，构成改进的跳跃连接结构。所提出的DCA模块可无缝集成至任何具有跳跃连接的编码器-解码器架构中，如U-Net及其各类变体。我们在六种基于U-Net的模型上验证了DCA模块的有效性，包括U-Net、V-Net、R2U-Net、ResU-Net++、DoubleU-Net以及MultiResU-Net。实验结果表明，DCA在GlaS数据集上实现了最高达2.05%的Dice分数提升，在MoNuSeg上提升2.74%，在CVC-ClinicDB上提升1.37%，在Kvasir-Seg上提升1.12%，在Synapse数据集上提升1.44%。相关代码已开源，访问地址为：https://github.com/gorkemcanates/Dual-Cross-Attention