UCTransNet：从通道角度重新思考U-Net中的跳跃连接与Transformer的结合

最近的大多数语义分割方法采用了具有编码器-解码器架构的U-Net框架。然而，对于采用简单跳跃连接方案的U-Net来说，建模全局多尺度上下文仍然是一项挑战：1）并非每个跳跃连接设置都是有效的，由于编码器和解码器阶段特征集的不兼容问题，某些跳跃连接甚至会对分割性能产生负面影响；2）在某些数据集上，原始U-Net的表现甚至不如没有跳跃连接的版本。基于我们的研究发现，我们提出了一种新的分割框架，称为UCTransNet（在U-Net中引入了所提出的CTrans模块），从通道视角出发并结合注意力机制。具体而言，CTrans模块是U-Net跳跃连接的一种替代方案，由两个子模块组成：一个是利用Transformer进行多尺度通道交叉融合的子模块（命名为CCT），另一个是通道级交叉注意力子模块（命名为CCA），用于引导融合后的多尺度通道信息有效连接到解码器特征以消除模糊性。因此，所提出的由CCT和CCA组成的连接方案能够替代原有的跳跃连接，解决语义差距问题，实现准确的自动医学图像分割。实验结果表明，我们的UCTransNet在不同数据集和涉及Transformer或U形框架的传统架构上均能产生更精确的分割性能，并且相对于现有最先进的语义分割方法实现了持续改进。代码：https://github.com/McGregorWwww/UCTransNet。