자기지도 학습 기반의 이미지별 프로토타입 탐색을 통한 약한 지도 학습 세그멘테이션

이미지 레벨 라벨을 기반으로 한 약한 감독(semi-supervised) 세분화(Weakly Supervised Semantic Segmentation, WSSS)는 낮은 라벨링 비용으로 인해 많은 주목을 받고 있다. 기존의 방법들은 일반적으로 이미지 픽셀과 분류기 가중치 간의 상관관계를 측정하는 클래스 활성화 맵(Class Activation Mapping, CAM)에 의존한다. 그러나 분류기는 단지 구분 가능한 영역에만 집중할 뿐, 각 이미지 내 다른 유용한 정보를 무시하게 되어 완전하지 않은 위치 지도를 생성하게 된다. 이러한 문제를 해결하기 위해, 우리는 이미지별 프로토타입 탐색(Self-supervised Image-specific Prototype Exploration, SIPE)을 제안한다. SIPE는 이미지별 프로토타입 탐색(Image-specific Prototype Exploration, IPE)과 일반-특수 일관성(General-Specific Consistency, GSC) 손실로 구성된다. 구체적으로, IPE는 각 이미지에 맞춰 최적화된 프로토타입을 형성하여 완전한 영역을 포착하며, 이를 통해 이미지별 CAM( IS-CAM)을 구현한다. 이는 두 단계의 순차적 과정을 통해 실현된다. 또한 GSC는 일반 CAM과 제안하는 특수한 IS-CAM 간의 일관성을 구축함으로써 특징 표현을 더욱 최적화하고, 프로토타입 탐색 과정에 자기 보정(self-correction) 능력을 부여한다. PASCAL VOC 2012 및 MS COCO 2014 세분화 벤치마크에서 실시한 광범위한 실험 결과, 본 연구의 SIPE는 단지 이미지 레벨 라벨만을 사용함에도 불구하고 기존 최고 성능을 넘어선 새로운 최고 성능을 달성하였다. 코드는 https://github.com/chenqi1126/SIPE 에 공개되어 있다.