클래스별 메모리 백업에서 얻은 픽셀 수준의 대비 학습을 이용한 반감독 세분화

이 연구는 반감독(semi-supervised) 세분화(semantic segmentation)를 위한 새로운 접근법을 제안한다. 이 접근법의 핵심은 전체 데이터셋 내에서 동일 클래스의 샘플에 대해 유사한 픽셀 수준의 특징 표현을 얻도록 세분화 네트워크를 강제하는 대조 학습(contrastive learning) 모듈이다. 이를 실현하기 위해, 레이블이 붙은 데이터로부터 관련성 있고 고품질의 특징 벡터를 지속적으로 업데이트하는 메모리 백(Memory Bank)을 유지한다. 엔드 투 엔드 학습 과정에서, 레이블이 붙은 데이터와 레이블이 없는 데이터의 특징 모두가 메모리 백 내의 동일 클래스 샘플과 유사하도록 최적화된다. 제안한 방법은 잘 알려진 공개 벤치마크에서 현재 최고 성능을 기록한 반감독 세분화 및 반감독 도메인 어댑테이션(semi-supervised domain adaptation) 작업에서 우수한 성능을 보이며, 특히 레이블이 부족한 어려운 시나리오에서 더 큰 성능 향상을 기록했다. https://github.com/Shathe/SemiSeg-Contrastive