医学切片Transformer：利用DINOv2在3D医学图像上提高诊断准确性和可解释性

磁共振成像（MRI）和计算机断层扫描（CT）是诊断复杂疾病的重要临床横断面成像技术。然而，带有注释的大规模3D数据集在深度学习中较为稀缺。尽管DINOv2等方法在2D图像分析中表现出积极的效果，但这些方法尚未应用于3D医学图像。此外，由于深度学习模型的“黑箱”特性，其可解释性通常较差。本研究旨在扩展2D自监督模型，特别是DINOv2，以适应3D医学影像，并评估其在可解释性方面的潜力。我们引入了医疗切片变换器（Medical Slice Transformer, MST）框架，用于将2D自监督模型适应于3D医学影像分析。MST结合了Transformer架构和2D特征提取器（即DINOv2）。我们在三个临床数据集上评估了其诊断性能：乳腺MRI（651例患者）、胸部CT（722例患者）和膝关节MRI（1199例患者）。两种方法均用于诊断乳腺癌、预测肺结节性质以及检测半月板撕裂。通过计算受试者工作特征曲线下的面积（AUC）来评估诊断性能。可解释性则通过放射科医生对基于切片和病灶正确性的显著图进行定性比较来评估。P值使用Delong检验计算得出。MST在所有三个数据集上的AUC值均高于ResNet：乳腺MRI（0.94±0.01 vs. 0.91±0.02, P=0.02）、胸部CT（0.95±0.01 vs. 0.92±0.02, P=0.13）和膝关节MRI（0.85±0.04 vs. 0.69±0.05, P=0.001）。MST的显著图在精确度和解剖学正确性方面始终优于ResNet。研究表明，像DINOv2这样的2D自监督模型可以通过MST有效适应3D医学影像，相比卷积神经网络，提供更高的诊断准确性和更好的可解释性。