비지도 의미 분할에서의 어울림과 균일성 재고

비지도 이미지 의미 분할(Unsupervised Image Semantic Segmentation, UISS)은 외부 레이블 없이 저수준 시각적 특징과 의미 수준의 표현을 매칭하는 것을 목표로 한다. 본 논문에서는 UISS 모델의 중요한 특성들에 대해 특징 정렬(Feature Alignment)과 특징 균일성(Feature Uniformity)의 관점에서 분석한다. 또한 UISS와 이미지 수준 표현 학습(Image-wise Representation Learning) 간의 비교를 수행한다. 분석을 바탕으로 기존의 MI(Mutual Information)-기반 방법들이 UISS에서 표현 붕괴(Representation Collapse) 문제를 겪고 있음을 지적하고, 이를 해결하기 위해 동적으로 픽셀 수준 및 의미 특징을 생성할 수 있는 새로운 모듈인 의미 주의 메커니즘(Semantic Attention, SEAT)을 도입한 강건한 네트워크인 의미 주의 네트워크(Semantic Attention Network, SAN)를 제안한다. 다양한 의미 분할 벤치마크에서의 실험 결과는 제안한 비지도 분할 프레임워크가 의미 표현을 효과적으로 포착함을 보여주며, 사전 훈련되지 않은 기존 방법들을 물론, 일부 사전 훈련된 방법들보다도 우수한 성능을 달성함을 입증한다.