의료 슬라이스 트랜스포머: DINOv2를 활용한 3D 의료 영상에서 진단 및 설명성 개선

MRI와 CT는 복잡한 질환을 진단하는 데 있어 필수적인 임상 단면 영상 기술입니다. 그러나 딥러닝에 사용할 수 있는 주석이 달린 대규모 3D 데이터셋은 매우 드뭅니다. DINOv2와 같은 방법론은 2D 이미지 분석에서 긍정적인 결과를 보여주고 있지만, 이러한 방법론들은 3D 의료 영상에는 적용되지 않았습니다. 또한, 딥러닝 모델들은 "블랙박스" 특성으로 인해 설명성이 부족한 경우가 많습니다. 본 연구는 2D 자기 지도 학습 모델, 특히 DINOv2를 3D 의료 영상 분석에 확장하고 그 설명 가능성에 대한 잠재력을 평가하는 것을 목표로 합니다.우리는 2D 자기 지도 학습 모델을 3D 의료 영상 분석에 적응시키기 위해 의료 슬라이스 트랜스포머 (Medical Slice Transformer, MST) 프레임워크를 소개합니다. MST는 트랜스포머 아키텍처와 2D 피처 추출기, 즉 DINOv2를 결합한 모델입니다. 우리는 이 모델의 진단 성능을 세 가지 임상 데이터셋에서 3D 컨볼루션 신경망 (3D ResNet)과 비교하여 평가했습니다: 유방 MRI (651명 환자), 흉부 CT (722명 환자), 그리고 무릎 MRI (1199명 환자). 두 방법 모두 유방암 진단, 폐 결절의 양성 여부 예측, 그리고 반월판 파열 검출을 위해 테스트되었습니다. 진단 성능은 수신자 운영 특성 곡선 아래 면적 (Area Under the Receiver Operating Characteristic Curve, AUC)을 계산하여 평가되었습니다. 설명성은 방사선 전문의가 슬라이스 및 병변 정확성을 기준으로 중요도 맵(saliency map)의 질적 비교를 통해 평가되었습니다. P-값은 Delong's test를 사용하여 계산되었습니다.MST는 모든 세 가지 데이터셋에서 ResNet보다 더 높은 AUC 값을 달성했습니다: 유방 (0.94±0.01 vs. 0.91±0.02, P=0.02), 흉부 (0.95±0.01 vs. 0.92±0.02, P=0.13), 그리고 무릎 (0.85±0.04 vs. 0.69±0.05, P=0.001). MST의 중요도 맵은 ResNet보다 일관되게 더 정확하고 해부학적으로 옳았습니다. DINOv2와 같은 2D 자기 지도 학습 모델들은 MST를 사용하여 효과적으로 3D 의료 영상 분석에 적응될 수 있으며, 컨볼루션 신경망에 비해 진단 정확도와 설명성을 개선할 수 있습니다.