초록

대규모 시각 기반 모델이 다양한 자연 이미지에 대해 사전 훈련된 이후, 컴퓨터 비전 분야에서 패러다임의 전환을 이끌어냈다. 그러나 최첨단 시각 기반 모델의 성능이 의료 영상과 같은 전문 분야로 어떻게 전이되는지에 대한 질문은 여전히 미해결 과제로 남아 있다. 본 보고서는, 밀도 예측 작업에서 뛰어난 능력을 지닌 최신의 자기지도 학습 시각 트랜스포머(ViT)인 DINOv3이 전문 분야의 사전 훈련 없이도 의료 시각 작업을 위한 강력하고 통합적인 인코더로 직접 활용될 수 있는지 여부를 탐구한다. 이를 위해 우리는 DINOv3의 성능을 다양한 의료 영상 모달리티에 대한 2D/3D 분류 및 세그멘테이션과 같은 일반적인 의료 시각 작업에서 평가하였으며, 모델 크기와 입력 이미지 해상도를 변화시켜 그 확장성에 대해 체계적으로 분석하였다. 연구 결과, DINOv3는 놀라운 성능을 보이며 새로운 강력한 기준선을 설정함을 확인하였다. 특히, 자연 이미지만으로 훈련된 DINOv3가 BiomedCLIP 및 CT-Net과 같은 의료 전용 기반 모델보다 여러 작업에서 우수한 성능을 보이는 것으로 나타났다. 그러나 명확한 한계도 발견되었으며, 전체 슬라이드 병리 영상(WSIs), 전자현미경(EM), 양전자 방출 단층 촬영(PET)과 같이 깊은 도메인 특화가 요구되는 상황에서는 모델의 특징 표현 능력이 저하됨을 관찰하였다. 또한, DINOv3는 의료 도메인에서는 일관된 확장 법칙을 따르지 않음을 확인하였으며, 모델 크기나 특징 해상도를 높여도 성능이 항상 향상되지는 않으며, 작업에 따라 다양한 확장 행동을 보였다. 결론적으로, 본 연구는 DINOv3가 복잡한 다수의 의료 작업에 대해 강력한 사전 지식(prior)을 제공할 수 있는 강력한 기준선으로서의 위치를 확립하였다. 이는 3D 재구성에서 다중 시점 일관성을 강제하는 데 DINOv3의 특징을 활용하는 등, 희망적인 미래 연구 방향을 열어준다.