17 天前

TransBTS:基于Transformer的多模态脑肿瘤分割

Wenxuan Wang, Chen Chen, Meng Ding, Jiangyun Li, Hong Yu, Sen Zha
TransBTS:基于Transformer的多模态脑肿瘤分割
摘要

Transformer 通过自注意力机制能够有效建模全局(长距离)信息,在自然语言处理和二维图像分类任务中取得了显著成功。然而,对于密集预测任务,尤其是三维医学图像分割,局部特征与全局特征同样至关重要。本文首次将 Transformer 引入三维卷积神经网络(3D CNN)中,用于 MRI 脑肿瘤分割,并提出了一种基于编码器-解码器结构的新型网络架构——TransBTS。为捕捉三维局部上下文信息,编码器首先利用 3D CNN 提取体数据的空间特征图;同时,对这些特征图进行精心重构,转化为适用于 Transformer 的“token”输入,以实现全局特征建模。解码器则融合 Transformer 嵌入的特征,并通过逐步上采样策略,生成精细的分割结果。在 BraTS 2019 与 BraTS 2020 两个公开数据集上的大量实验结果表明,TransBTS 在三维 MRI 扫描脑肿瘤分割任务中,性能达到或优于当前最先进的三维方法。代码已开源,地址为:https://github.com/Wenxuan-1119/TransBTS。