의료 SAM 어댑터: 의료 영상 세그멘테이션을 위한 세그먼트 애플리케이션 모델 적응

최근 이미지 세그멘테이션 분야에서 세그먼테이션 어댑티브 모델(Segment Anything Model, SAM)은 다양한 세그멘테이션 작업에서 뛰어난 성능과 프롬프트 기반 인터페이스를 통해 큰 인기를 끌고 있다. 그러나 최근의 연구 및 개별 실험을 통해 SAM이 의료 영상 세그멘테이션에서는 성능이 저조함을 확인할 수 있었으며, 이는 의료 영상에 특화된 지식이 부족하기 때문임이 밝혀졌다. 이에 따라 SAM의 의료 영상 세그멘테이션 능력을 어떻게 향상시킬 수 있을지가 중요한 질문이 되었다. 본 논문에서는 SAM 모델의 피니트튜닝(fine-tuning)을 시도하지 않고, 가볍지만 효과적인 적응 기법을 활용하여 도메인 특화된 의료 지식을 세그멘테이션 모델에 통합하는 Medical SAM Adapter(Med-SA)를 제안한다. Med-SA에서는 2D SAM을 3D 의료 영상에 적응시키기 위해 Space-Depth Transpose(SD-Trans)를 제안하고, 프롬프트 조건에 따라 적응을 가능하게 하는 Hyper-Prompting Adapter(HyP-Adpt)를 도입한다. 다양한 영상 모달리티를 포함한 17개의 의료 영상 세그멘테이션 작업에서 포괄적인 평가 실험을 수행한 결과, Med-SA는 몇 가지 최신 기술(SOTA)보다 뛰어난 성능을 보였으며, 파라미터의 단지 2%만을 업데이트함으로써 효율적인 학습이 가능함을 입증하였다. 본 연구의 코드는 https://github.com/KidsWithTokens/Medical-SAM-Adapter 에 공개되어 있다.