AutoSAM: 프롬프트 인코더를 오버로딩하여 의료 이미지에 SAM 적응시키기

최근 소개된 Segment Anything Model(SAM)은 영리한 아키텍처와 대량의 학습 데이터를 결합하여 뛰어난 이미지 분할 능력을 얻었습니다. 그러나, 의료 이미지와 같은 Out-Of-Distribution(OOD) 도메인에서는 이러한 결과를 재현하지 못합니다. 또한, SAM은 마스크나 점들의 집합에 조건부로 작동하지만, 완전히 자동화된 솔루션이 필요할 수도 있습니다. 본 연구에서는 SAM의 조건부 입력을 동일한 입력 이미지를 처리하는 인코더로 대체하였습니다. 이 인코더를 추가하고 SAM을 추가적으로 미세 조정(fine-tuning)하지 않은 상태에서 여러 의료 이미지 및 비디오 벤치마크에서 최고 수준의 결과를 얻었습니다. 이 새로운 인코더는 동결된(frozen) SAM으로부터 제공되는 그래디언트를 통해 학습됩니다. 또한, 내부 지식을 검사하고 경량화된 분할 솔루션을 제공하기 위해, 얕은 디컨볼루션 네트워크를 사용하여 마스크로 디코딩하는 방법도 학습하였습니다.