제로샷 의미 분할을 위한 맥락 인지 특징 생성

기존의 의미 분할 모델은 밀도 높은 픽셀 단위 레이블에 크게 의존한다. 이러한 레이블링 부담을 줄이기 위해, 본 연구는 레이블 없이도 미지의 객체를 분할하는 것을 목표로 하는 도전적인 과제인 제로샷 의미 분할(Zero-shot Semantic Segmentation)에 초점을 맞춘다. 이 과제는 의미적 단어 임베딩을 통해 카테고리 간 지식을 전이함으로써 달성할 수 있다. 본 논문에서는 제로샷 분할을 위한 새로운 맥락 인식 특징 생성 방법을 제안한다. 이를 CaGNet (Context-aware Feature Generation Network)이라 명명한다. 특히, 픽셀 단위 특징이 맥락 정보에 크게 의존한다는 관찰을 바탕으로, 분할 네트워크 내부에 맥락 모듈을 도입하여 픽셀 단위의 맥락 정보를 추출하고, 이 정보를 활용해 의미적 단어 임베딩에서 더 다양하고 맥락 인식형 특징을 생성하는 과정을 안내한다. 제안한 방법은 제로샷 분할을 위한 세 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하였다. 코드는 다음 주소에서 제공된다: https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation.