DatUS^2: 데이터 드리븐 비지도 의미 분할을 위한 사전 학습된 자기 지도 비전 트랜스포머

여러 자기 감독 학습 방식의 연속적인 제안이 이루어져, 보편적인 기초 모델 개발에 한 발짝 더 다가섰습니다. 이 과정에서 비지도 하류 작업은 자기 감독 학습 방식으로 학습된 시각적 특징의 품질을 검증하는 방법 중 하나로 인식되었습니다. 그러나, 비지도 밀도 있는 의미 분할은 패치 수준의 특징 표현에서 도입된 의미 정보를 활용하고 평가할 수 있는 하류 작업으로 탐구되지 않았습니다. 따라서 본 논문에서는 비지도 의미 분할을 위한 새로운 데이터 주도 접근 방식인 DatUS^2를 제안합니다. DatUS^2는 어떤 시각적 사전 지식이나 동기화된 데이터를 사용하지 않고, 라벨링되지 않은 이미지 데이터셋에 대해 의미적으로 일관되고 밀도 있는 가상 주석 분할 마스크를 생성합니다. 우리는 이러한 가상 주석 분할 마스크를 실제 마스크와 비교하여 최근의 자기 감독 학습 방식들이 패치 수준에서 공유되는 의미적 속성과 세그먼트 수준에서 차별화된 의미적 속성을 학습하는지를 평가합니다. 마지막으로, 우리는 제안한 하류 작업인 DatUS^2를 통해 기존 최신 자기 감독 학습 방식들을 평가하였습니다. 또한, DatUS^2의 최고 버전은 SUIM 데이터셋에서 15.02%의 MiOU와 21.47%의 픽셀 정확도로 비지도 밀도 있는 의미 분할 작업에서 기존 최신 방법론을 능가하며, 대규모이고 복잡한 COCO 데이터셋에서도 경쟁력 있는 정확도를 달성하였습니다.