17 天前

Swin-Unet:用于医学图像分割的类Unet纯Transformer

Hu Cao, Yueyue Wang, Joy Chen, Dongsheng Jiang, Xiaopeng Zhang, Qi Tian, Manning Wang
Swin-Unet:用于医学图像分割的类Unet纯Transformer
摘要

近年来,卷积神经网络(CNN)在医学图像分析领域取得了诸多里程碑式进展。特别是基于U型架构与跳跃连接的深度神经网络,已被广泛应用于各类医学图像任务中。然而,尽管CNN表现出色,由于卷积操作的局部性限制,其在捕捉全局及长距离语义信息交互方面仍存在不足。为此,本文提出Swin-Unet,一种面向医学图像分割的纯Transformer型U型网络。该方法将图像块进行token化处理后,输入基于Transformer的U型编码器-解码器架构,并通过跳跃连接实现局部与全局语义特征的联合学习。具体而言,编码器采用具有移位窗口机制的分层Swin Transformer,以有效提取上下文特征;解码器则设计为对称的Swin Transformer结构,并引入补丁扩展层(patch expanding layer),实现上采样操作,以恢复特征图的空间分辨率。在多器官与心脏分割任务中,当输入输出直接进行4倍下采样与上采样时,实验结果表明,该纯Transformer驱动的U型编码器-解码器网络在性能上优于完全基于卷积或卷积与Transformer混合的方法。相关代码与训练好的模型将公开发布于:https://github.com/HuCaoFighting/Swin-Unet。

Swin-Unet:用于医学图像分割的类Unet纯Transformer | 最新论文 | HyperAI超神经