약한 감독 하의 세분할에서 흉내 마스크가 중요한 이유

대부분의 약한 감독(semantic) 세그멘테이션(WSSS) 방법은 초기에 의사 마스크(pseudo-masks)를 생성한 후, 이를 전적으로 감독된 방식으로 세그멘테이션 모델을 훈련하는 파이프라인을 따릅니다. 그러나 우리는 이러한 의사 마스크와 관련된 몇 가지 문제점, 즉 클래스 활성화 맵(CAMs)에서 고품질의 의사 마스크 생성 및 노이즈가 포함된 의사 마스크를 활용한 훈련에 대해 주목하게 되었습니다. 이러한 문제들을 해결하기 위해 다음과 같은 설계를 제안하여 성능을 새로운 최고 수준으로 끌어올렸습니다: (i) 적응형으로 CAMs를 부드럽게 하는 분산 계수(Coefficient of Variation Smoothing); (ii) 이진 분류기에서 학습한 점수 대신 각 클래스가 각 위치에서 가지는 중요도를 나타내는 새로운 지표를 기반으로 확장된 CAMs를 의사 마스크로 매핑하는 비례적 의사 마스크 생성(Proportional Pseudo-mask Generation); (iii) 의사 마스크 내 노이즈의 영향을 억제하기 위한 가상의 과소적합(Prentended Under-Fitting) 전략; (iv) 전적으로 감독된 세그멘테이션 훈련(FSSS) 과정에서 의사 마스크의 품질을 향상시키기 위한 사이클릭 의사 마스크(Cyclic Pseudo-mask) 기법. 제안된 방법을 기반으로 한 실험은 PAS-CAL VOC 2012와 MS COCO 2014 두 개의 도전적인 약한 감독 세그멘테이션 데이터셋에서 새로운 최고 성능을 달성하였으며, 각각 mIoU를 70.0%와 40.2%로 향상시켰습니다. 세그멘테이션 프레임워크를 포함한 코드는 https://github.com/Eli-YiLi/PMM 에 공개되었습니다.