약한 레이블을 활용한 세미틱 세그멘테이션을 위한 의미론적 프롬프트 학습

약한 지도(semi-supervised) 세분화(Weakly-Supervised Semantic Segmentation, WSSS)는 이미지 수준의 레이블만을 사용하여 세분화 모델을 훈련하는 것을 목표로 한다. 정밀한 픽셀 수준의 레이블이 제공되지 않기 때문에, 기존의 방법들은 일반적으로 CAM 유사 열지도(CAM-like heatmaps)를 개선함으로써 훈련용 가상 마스크(pseudo masks)를 생성하는 데 초점을 맞춘다. 그러나 생성된 열지도는 객체 카테고리의 특징적인 이미지 영역만을 포착하거나, 관련된 공존 배경들만을 반영할 수 있다. 이러한 문제를 해결하기 위해, 본 연구에서는 CLIP의 잠재 공간(latent space)을 효과적으로 프롬프트(prompt)하여 분할 영역과 대상 객체 카테고리 간의 의미적 일치도(semantic alignment)를 강화하는 SemPLeS(Semantic Prompt Learning for WSSS) 프레임워크를 제안한다. 구체적으로, 각 객체 카테고리와 관련된 공존 배경을 효과적으로 억제하고 설명할 수 있는 프롬프트를 학습하기 위해 대조적 프롬프트 학습(Contrastive Prompt Learning)과 프롬프트 유도형 의미적 개선(Prompt-guided Semantic Refinement) 기법을 제안한다. 이를 통해 SemPLeS는 객체 영역과 클래스 레이블 간의 보다 우수한 의미적 일치도를 달성하여, 세분화 모델 훈련에 적합한 원하는 가상 마스크를 생성할 수 있다. 제안된 SemPLeS 프레임워크는 표준 WSSS 벤치마크인 PASCAL VOC 2012 및 MS COCO 2014에서 경쟁력 있는 성능을 달성하며, 다른 WSSS 방법들과의 호환성도 입증하였다. 코드: https://github.com/NVlabs/SemPLeS.