이미지 레이블 텍스트로부터 반복적인 희소 샘플 세그멘테이션

소수 샘플(semantic segmentation)은 몇 장의 지원 이미지(support images)를 통해 미지 클래스의 객체를 분할하는 것을 목표로 한다. 기존 대부분의 방법들은 지원 이미지의 픽셀 단위 레이블에 의존하지만, 본 논문에서는 더 도전적인 설정에 초점을 맞춘다. 즉, 지원 이미지에 대해 픽셀 단위 레이블이 없고, 이미지 수준(image-level)의 레이블만 제공되는 경우를 다룬다. 우리는 강력한 비전-언어 모델인 CLIP을 활용하여 초기에 거친 마스크(coarse masks)를 생성한 후, 지원 이미지와 쿼리 이미지의 마스크 예측을 반복적이고 상호적으로 정교화하는 일반적인 프레임워크를 제안한다. PASCAL-5i 및 COCO-20i 데이터셋에서 실시한 광범위한 실험 결과, 제안한 방법은 기존 최첨단의 약한 지도 학습 기반 접근법보다 뚜렷한 성능 우위를 보이며, 최근의 감독 학습 기반 방법과도 비교해 유사하거나 더 우수한 성능을 달성함을 입증하였다. 또한, 자연 환경에서의 이미지와 드문 클래스에 대해 뛰어난 일반화 능력을 보유하고 있음을 확인하였다. 코드는 https://github.com/Whileherham/IMR-HSNet 에 공개될 예정이다.