TransFGU: 미세한 비감독 세그멘테이션을 위한 상향식 접근법

비지도 의미 분할은 수동적인 레이블 없이 저수준 시각적 특징에서 고수준 의미 표현을 추출하는 것을 목표로 한다. 기존의 대부분의 방법들은 시각적 단서나 사전에 정의된 규칙에 기반하여 픽셀을 영역으로 그룹화하는 하향식 접근 방식을 사용한다. 그러나 이러한 하향식 접근 방식은 다수의 객체가 존재하거나 시각적 특성이 유사한 객체들이 포함된 복잡한 시나리오에서는 세밀한 의미 분할을 생성하는 데 어려움을 겪는다. 반면에, 본 논문에서는 극도로 복잡한 시나리오에서 세밀한 분할을 가능하게 하는 최초의 상향식 비지도 의미 분할 프레임워크를 제안한다. 구체적으로, 먼저 대규모 시각 데이터로부터 자가지도 학습 방식으로 풍부한 고수준 구조적 의미 개념 정보를 추출하고, 이를 사전 지식으로 활용하여 대상 데이터셋에 존재할 수 있는 잠재적인 의미 카테고리를 탐지한다. 다음으로, 탐지된 고수준 의미 카테고리를 특정 발견된 의미 표현에 대해 클래스 활성화 맵(Class Activation Map, CAM)을 계산함으로써 저수준 픽셀 특징에 매핑한다. 마지막으로, 얻어진 CAM은 의사 레이블로 작용하여 분할 모듈을 학습시키고 최종적인 의미 분할 결과를 생성한다. 다양한 의미 분할 벤치마크에서의 실험 결과는 제안한 상향식 비지도 분할 방법이 객체 중심 및 장면 중심 데이터셋 모두에서 다양한 의미 세분화 수준에 대해 강건함을 보이며, 현재까지 제시된 모든 최첨단 하향식 방법들을 초월함을 입증하였다. 본 연구의 코드는 \url{https://github.com/damo-cv/TransFGU}에서 공개되어 있다.