분류기와 재구성기의 적대적 학습을 통한 약한 감독 세분화

약한 감독(semi-supervised) 세그멘테이션에서, 클래스 활성화 맵(Class Activation Maps, CAMs)는 일반적으로 1) 객체 전체를 포괄하지 못하고, 2) 관련 없는 영역에서도 활성화되는 문제가 있다. 이러한 문제를 해결하기 위해, 분류기(classifier)와 이미지 재구성기(reconstructor) 간의 적대적 학습(adversarial learning)을 활용한 새로운 WSSS 프레임워크를 제안한다. 이미지가 각 클래스별로 완벽하게 분해되었을 경우, 한 개의 세그먼트에서의 정보(예: 색상 또는 질감)는 다른 세그먼트로부터 추론될 수 없다. 따라서 세그먼트 간의 추론 가능성(inferability)은 세그멘테이션의 정확도를 나타내는 지표가 될 수 있다. 본 연구에서는 이 추론 가능성을 다른 세그먼트로부터 한 세그먼트를 재구성하는 정확도로 정량화한다. 만약 한 세그먼트가 다른 세그먼트로부터 재구성될 수 있다면, 그 세그먼트는 정확하지 않다는 의미이다. 이러한 아이디어를 WSSS에 적용하기 위해, 이미지를 세그먼트로 분해하는 CAM을 생성하는 분류기와 세그먼트 간의 추론 가능성을 측정하는 재구성기를 동시에 학습시킨다. GAN과 유사하게, 두 네트워크는 적대적으로 교차 학습되면서 서로 긍정적인 피드백을 제공한다. 제안된 프레임워크의 우수성을 광범위한 아블레이션(Ablation) 실험을 통해 검증하였으며, PASCAL VOC 2012 및 MS COCO 2014 데이터셋에서 모두 최신 기준(SOTA) 성능을 달성하였다. 코드는 https://github.com/sangrockEG/ACR 에서 공개되어 있다.