7 天前

ViT-V-Net:用于无监督体积医学图像配准的视觉Transformer

Junyu Chen, Yufan He, Eric C. Frey, Ye Li, Yong Du
ViT-V-Net:用于无监督体积医学图像配准的视觉Transformer
摘要

在过去十年中,卷积神经网络(ConvNets)在多种医学影像应用中占据主导地位,并取得了当前最优的性能表现。然而,ConvNets的性能仍受限于对图像中长程空间关系的理解不足。近期提出的视觉Transformer(Vision Transformer, ViT)采用纯自注意力机制模型,能够有效学习长程空间依赖关系,从而聚焦于图像中的关键区域。然而,由于连续的下采样操作,ViT更强调低分辨率特征,导致细节定位信息的缺失,因而不适用于图像配准任务。为解决这一问题,近期已有若干基于ViT的图像分割方法结合卷积神经网络,以增强对细节定位信息的恢复能力。受此启发,本文提出ViT-V-Net,该模型融合ViT与ConvNet的优势,实现三维医学图像的配准。实验结果表明,所提出的架构在性能上显著优于多种当前领先的配准方法。

ViT-V-Net:用于无监督体积医学图像配准的视觉Transformer | 最新论文 | HyperAI超神经