비지도적 의미 분할을 위한 객체 마스크 제안의 대조 기법

감독 없이 이미지의 밀도 높은 의미적 표현을 학습하는 것은 컴퓨터 비전 분야에서 중요한 문제이다. 그러나 이 문제의 중요성에도 불구하고, 아직까지는 연구가 상당히 제한적이며, 소규모 데이터셋과 좁은 시각적 도메인에서만 감독되지 않은 의미적 세그멘테이션을 다룬 몇몇 예외적인 사례 외에는 거의 탐색되지 않았다. 본 논문에서는 기존의 감독 학습에 주로 사용되어 온 데이터셋에서 이 문제에 처음으로 도전한다. 이를 위해, 대비 최적화 목표함수 내에서 미리 정의된 중간 수준의 사전 지식(prior)을 활용하여 픽셀 임베딩을 학습하는 이단계 프레임워크를 제안한다. 이는 기존 연구들이 대리 작업(proxy tasks)이나 엔드투엔드 클러스터링에 의존한 것과 큰 차이를 보인다. 더불어, 개체나 그 일부에 대한 정보를 포함하는 사전 지식의 중요성을 주장하며, 이러한 사전 지식을 감독 없이 얻는 여러 가능성을 논의한다.실험적 평가 결과, 제안하는 방법은 기존 기법들에 비해 핵심적인 장점을 지닌다. 첫째, PASCAL 데이터셋에서 K-Means를 직접 적용하여 학습된 픽셀 임베딩을 의미적 그룹으로 클러스터링할 수 있다. 완전한 감독 없이 이와 같은 도전적인 벤치마크에서 의미적 세그멘테이션 작업을 해결한 사례는 본 논문이 처음이다. 둘째, 제안된 표현은 COCO 및 DAVIS와 같은 새로운 데이터셋으로 전이되었을 때 강력한 기준 모델들을 초월하는 성능을 보인다. 코드는 공개되어 있다.