기존 세그멘테이터의 성능을 제로샷 세그멘테이터를 활용하여 향상시키기

이 논문은 기존의 분할 기법의 성능을 향상시키기 위해 SAM(Segment Anything Model) 분할기의 잠재력을 탐구한다. SAM은 추가적인 학습 없이도 낯선 객체와 이미지에 대해 제로샷 일반화가 가능한 프롬프트 기반 분할 시스템이다. GitHub에 공개된 오픈소스 형태로 제공되는 SAM은 접근성과 구현의 용이성을 제공한다. 본 실험에서는 DeepLabv3+가 생성한 마스크에서 추출한 체크포인트를 SAM에 제공함으로써 분할 성능을 향상시키고, 두 네트워크가 제공하는 분할 마스크를 병합하는 전략을 시도하였다. 또한, 분할 마스크를 지정된 참조 마스크(ground truth)에서 추출한 체크포인트를 사용해 SAM만으로 추론하는 '오라클(oracle)' 방법(상한 기준 성능)을 비교 분석하였다. 더불어 CAMO 데이터셋에서 PVTv2 트랜스포머의 앙상블을 테스트한 결과, 이 앙상블과 SAM을 결합함으로써 해당 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였다. 본 연구의 결과는 기존 분할 기법에 SAM 분할기를 통합할 경우의 잠재력을 깊이 있게 이해하는 데 유의미한 통찰을 제공한다. 본 논문과 함께 제안된 방법의 오픈소스 구현 코드도 함께 공개한다.