SAM2-UNet: Segment Anything 2는 자연 이미지와 의료 이미지 분할을 위한 강력한 인코더입니다.

이미지 세그멘테이션은 시각 이해에서 중요한 역할을 합니다. 최근에 등장한 시각 기초 모델들은 다양한 작업에서 지속적으로 우수한 성능을 보여주었습니다. 이러한 성공에 이어, 본 논문에서는 Segment Anything Model 2 (SAM2)가 U자형 세그멘테이션 모델의 강력한 인코더로 활용될 수 있음을 증명합니다. 우리는 다목적 이미지 세그멘테이션을 위한 간단하면서도 효과적인 프레임워크인 SAM2-UNet을 제안합니다. 구체적으로, SAM2-UNet은 SAM2의 Hiera 백본을 인코더로 사용하며, 디코더는 전통적인 U자형 설계를 채택합니다. 또한, 인코더 내부에 어댑터를 삽입하여 파라미터 효율적인 미세 조정(fine-tuning)을 가능하게 합니다. 다양한 하류 작업(예: 위장 객체 검출, 주요 객체 검출, 해양 동물 세그멘테이션, 거울 검출, 폴립 세그멘테이션)에 대한 예비 실험 결과는 우리의 SAM2-UNet이 복잡한 추가 기술 없이도 기존의 특화된 최신 방법들을 단순히 능가할 수 있음을 보여줍니다. 프로젝트 페이지: \url{https://github.com/WZH0120/SAM2-UNet}.