AI-SAM: 자동 및 상호작용형 세그먼트 애프리시티 모델

시맨틱 세그멘테이션은 컴퓨터 비전 분야의 핵심 과제이다. 기존의 방법들은 일반적으로 자동형과 상호작용형 두 가지 유형으로 나뉜다. 상호작용형 접근 방식은 Segment Anything Model(SAM)과 같은 사전 훈련 모델을 통해 유망한 성과를 보여주고 있다. 그러나 현재 이러한 모델에 대한 적응 전략은 대부분 자동형 또는 상호작용형 중 하나에 치우쳐 있다. 상호작용형 방법은 사용자 입력을 기반으로 한 프롬프트에 의존하는 반면, 자동형 방법은 상호작용 가능한 프롬프트를 완전히 회피한다. 이러한 제약을 극복하기 위해, 우리는 새로운 패러다임과 그 첫 번째 모델인 자동 및 상호작용형 Segment Anything Model(AI-SAM)을 제안한다. 본 패러다임에서는 프롬프트 품질에 대한 포괄적인 분석을 수행하고, 초기 점 프롬프트를 자동으로 생성하면서도 추가 사용자 입력을 수용할 수 있는 혁신적인 자동 및 상호작용형 프롬프터(AI-Prompter)를 도입한다. 실험 결과 AI-SAM이 자동 설정에서 최신 기술 수준의 성능을 달성함을 입증하였다. 특히, 추가 사용자 프롬프트를 통합할 수 있는 유연성을 제공함으로써 성능을 더욱 향상시킬 수 있음을 확인하였다. 프로젝트 페이지는 https://github.com/ymp5078/AI-SAM 에서 확인할 수 있다.