클래스 피크 응답을 이용한 약간 지도된 인스턴스 분할

픽셀 레벨 마스크보다 비용이 적게 드는 이미지 레벨 라벨을 사용한 약간 감독된 인스턴스 분할은 아직 연구되지 않았습니다. 본 논문에서는 클래스 피크 응답을 활용하여 분류 네트워크를 인스턴스 마스크 추출에 적용함으로써 이 어려운 문제를 다루고자 합니다. 이미지 라벨만으로도 완전 합성곱 방식의 CNN 분류기는 각 이미지 위치에서의 분류 신뢰도를 나타내는 클래스 응답 맵을 생성할 수 있습니다. 우리는 클래스 응답 맵에서의 국부 최대값, 즉 피크가 일반적으로 각 인스턴스 내부에 존재하는 강력한 시각적 힌트와 대응되는 것을 관찰하였습니다. 이러한 동기를 바탕으로, 먼저 클래스 응답 맵에서 피크가 나타나도록 하는 과정을 설계하였습니다. 나타난 피크는 역전파되어 각 객체 인스턴스의 정보량이 많은 영역, 예를 들어 인스턴스 경계 등으로 효과적으로 매핑됩니다. 우리는 위와 같은 클래스 피크 응답에서 생성된 맵을 피크 응답 맵(Peak Response Maps, PRMs)이라고 지칭합니다. PRMs는 세부적인 인스턴스 레벨 표현을 제공하여, 일부 기존 방법들을 사용하더라도 인스턴스 마스크를 추출할 수 있게 합니다. 우리 소견으로는, 처음으로 도전적인 이미지 레벨 감독된 인스턴스 분할 작업에 대한 결과를 보고하고 있습니다. 광범위한 실험 결과, 우리의 방법이 약간 감독된 점별 위치 결정 및 의미론적 분할 성능을 향상시키며, PASCAL VOC 2012 및 MS COCO와 같은 유명한 벤치마크에서 최신 연구 결과를 보고하고 있음을 확인하였습니다.