LViT：语言与视觉Transformer在医学图像分割中的融合

深度学习在医学图像分割及其他领域已得到广泛应用。然而，现有医学图像分割模型的性能受限于高质量标注数据获取困难的问题，这主要源于数据标注成本高昂。为缓解这一瓶颈，本文提出一种新型文本增强型医学图像分割模型——LViT（Language meets Vision Transformer）。在LViT模型中，引入医学文本标注信息以弥补图像数据在质量上的不足；同时，文本信息可指导在半监督学习框架下生成质量更高的伪标签。此外，我们设计了一种指数型伪标签迭代机制（Exponential Pseudo label Iteration, EPI），以帮助像素级注意力模块（Pixel-Level Attention Module, PLAM）在半监督LViT设置中有效保留局部图像特征。在模型训练中，我们提出LV（Language-Vision）损失函数，直接利用文本信息对未标注图像进行监督学习。为评估模型性能，我们构建了三个多模态医学图像分割数据集（包含图像与文本信息），涵盖X光与CT影像。实验结果表明，所提出的LViT模型在全监督与半监督两种设置下均展现出优越的分割性能。相关代码与数据集已开源，地址为：https://github.com/HUANGLIZI/LViT。