비지도 보편적 이미지 분할

여러 가지 감독되지 않은 이미지 세그멘테이션 접근법들이 제안되어 왔으며, 이들은 밀집된 수작업으로 주석된 세그멘테이션 마스크의 필요성을 제거합니다. 현재 모델들은 의미론적 세그멘테이션(예: STEGO) 또는 클래스 무관 인스턴스 세그멘테이션(예: CutLER)을 별도로 처리하지만, 둘 모두를 처리하는 것은 아닙니다(즉, 팬오 ||틱 세그멘테이션). 우리는 새로운 통합 프레임워크를 사용하여 인스턴스, 의미론적 및 팬오틱 세그멘테이션과 같은 다양한 이미지 세그멘테이션 작업을 수행할 수 있는 감독되지 않은 보편적 세그멘테이션 모델(U2Seg)을 제안합니다. U2Seg는 자기 감독 모델을 활용한 클러스터링을 통해 이러한 세그멘테이션 작업에 대한 가상의 의미론적 라벨을 생성합니다; 각 클러스터는 픽셀들의 다른 의미론적 및/또는 인스턴스 소속 관계를 나타냅니다. 그런 다음 우리는 이 가상의 의미론적 라벨들에서 모델을 자기 학습시켜, 각 작업에 특화된 방법들보다 상당한 성능 향상을 이룹니다: COCO 데이터셋에서 감독되지 않은 인스턴스 세그멘테이션에서 CutLER 대비 +2.6 AP(^{\text{box}}) 향상과 COCOStuff 데이터셋에서 감독되지 않은 의미론적 세그emen테이션에서 STEGO 대비 +7.0 픽셀 정확도 증가입니다. 또한 우리의 방법은 이전에 탐구되지 않았던 감독되지 않은 팬오틱 세그멘테이션에 대한 새로운 기준점을 설정합니다. U2Seg는 저데이터 환경에서 예를 들어 COCO 라벨의 1%만으로 훈련될 때 CutLER보다 +5.0 AP(^{\text{mask}})를 초과하는 강력한 사전 학습 모델로써 소수 샷(few-shot) 세그멘테이션에도 효과적입니다. 우리는 간단하면서도 효과적인 우리의 방법이 감독되지 않은 보편적 이미지 세그멘테이션에 대한 더 많은 연구를 촉진하기를 바랍니다.注释:- "panoptic" 翻译为 "팬오틱", 这是一个专有名词，表示全景分割。- "AP(^{\text{box}})" 和 "AP(^{\text{mask}})" 保留了原始形式，因为它们是特定的技术指标。- "COCO" 和 "COCOStuff" 是数据集的名称，直接保留。- "few-shot" 翻译为 "소수 샷", 这是在机器学习中常用的术语。