CorrMatch: 반감기 일치를 통한 레이블 전파를 활용한 반감지 학습 세분화

이 논문은 간단하면서도 뛰어난 성능을 보이는 반감독 학습(semi-supervised) 세분화 접근법인 CorrMatch를 제안한다. 기존의 접근법들은 주로 비라벨 데이터를 활용하기 위해 복잡한 학습 전략을 사용하지만, 쌍의 위치 간 관계를 모델링하는 데 있어 상관도 맵(correlation maps)의 역할을 간과해왔다. 우리는 상관도 맵이 동일한 클래스의 픽셀들을 쉽게 군집화할 수 있게 해주는 동시에, 이전 연구들이 간과했던 훌륭한 형태 정보(shape information)를 포함하고 있음을 관찰하였다. 이러한 관찰을 바탕으로, 두 가지 새로운 레이블 전파 전략을 설계하여 비라벨 데이터의 활용 효율성을 향상시키는 것을 목표로 한다. 먼저, 픽셀 간 쌍별 유사도를 모델링함으로써 고신뢰도 픽셀을 전파하고 더 많은 픽셀을 탐지하는 픽셀 전파 전략을 제안한다. 다음으로, 상관도 맵에서 추출한 정확한 클래스에 관계없는 마스크(class-agnostic masks)를 활용하여 의사 레이블(pseudo labels)을 강화하기 위한 영역 전파(region propagation)을 수행한다. CorrMatch는 대표적인 세분화 벤치마크에서 뛰어난 성능을 달성하였다. ResNet-101을 백본으로 하는 DeepLabV3+ 모델을 기준으로, 라벨이 92개에 불과한 Pascal VOC 2012 데이터셋에서 76% 이상의 mIoU 점수를 기록하였다. 코드는 https://github.com/BBBBchan/CorrMatch 에서 확인할 수 있다.