ProMISe: SAM을 활용한 프롬프트 가능 의료 영상 세그멘테이션

세그먼트 애니웨어 모델(Segment Anything Model, SAM)의 제안 이후, 의료 영상 분할(Medical Image Segmentation, MIS)에 SAM을 적응시키기 위한 피니튜닝(fine-tuning) 기법이 널리 사용되고 있다. 그러나 SAM 모델의 크기가 크고 자연 이미지와 의료 이미지 사이에 큰 도메인 갭(domain gap)이 존재하기 때문에, 피니튜닝 기반 전략은 높은 비용이 수반되며 불안정성, 특징 손상, 치명적인 잊힘(catastrophic forgetting) 등의 위험이 있다. 게다가 일부 피니튜닝 기반 방법은 SAM을 특정 도메인에 적용할 때 프롬프팅(prompting) 기능을 비활성화시켜, 모델의 활용 가능 범위를 심각하게 제한한다. 본 논문에서는 목표 도메인 내에서 유클리드 기반 적응형 프롬프트(Euclidean adaptive prompts)를 제공하는 자동 프롬프팅 모듈(Auto-Prompting Module, APM)을 제안한다. 실험 결과, 이러한 적응형 프롬프트는 SAM의 피니튜닝 없이도 MIS에서 성능을 크게 향상시킴을 입증하였다. 또한, SAM을 특정 의료 도메인에 적응시키기 위한 새로운 비침습적 방법인 증분 패턴 시프팅(Incremental Pattern Shifting, IPS)을 제안한다. 실험 결과, IPS는 피니튜닝 없이도 SAM이 MIS에서 최신 기술(SOTA) 수준 또는 경쟁력 있는 성능을 달성할 수 있음을 보였다. 이러한 두 가지 방법을 결합함으로써, 프롬프팅 가능한 의료 영상 분할을 위한 엔드투엔드 비피니튜닝 프레임워크인 ProMISe를 제안한다. 실험을 통해, 본 방법을 개별적으로 사용하거나 결합하여도 모든 SAM 파라미터를 동결한 상태에서 저비용의 패턴 시프팅을 통해 만족스러운 성능을 달성함을 입증하였다.