초록
비지도 의미 분할은 인간이 라벨링한 주석 없이 고품질의 의미 그룹화를 달성하는 것을 목표로 합니다. 자기 지도 사전 학습의 등장으로 다양한 프레임워크가 사전 학습된 특징을 활용하여 비지도 밀집 예측을 위한 예측 헤드를 학습합니다. 그러나 이 비지도 설정에서 중요한 도전 과제는 개념을 분할하기 위해 필요한 적절한 클러스터링 수준을 결정하는 것입니다. 이를 해결하기 위해 우리는 인과 추론에서 얻은 통찰력을 활용한 새로운 프레임워크, 인과 비지도 의미 분할(CAUSE)을 제안합니다. 구체적으로, 개입 중심 접근 방식(즉, 전문 조정(frontdoor adjustment))을 연결하여 비지도 예측에 적합한 두 단계 작업을 정의합니다. 첫 번째 단계는 서로 다른 세분화 수준에서 가능한 개념 원형들을 이산화된 형태로 표현하는 중재자인 개념 클러스터북(concept clusterbook)을 구성하는 것입니다. 그런 다음, 중재자는 픽셀 수준 그룹화를 위한 후속 개념별 자기 지도 학습 간 명시적인 연결을 설정합니다. 다양한 데이터셋에 대한 광범위한 실험과 분석을 통해 CAUSE의 효과성을 입증하고 비지도 의미 분할에서 최고 수준의 성능을 달성하였습니다.