L2G: 약한 감독 세그멘테이션을 위한 간단한 로컬-글로벌 지식 전이 프레임워크

정밀한 클래스 인식 주의 맵(즉, 클래스 활성화 맵)을 채굴하는 것은 약한 감독(semi-supervised) 세분화에 있어 필수적인 과정이다. 본 논문에서는 고품질 객체 주의 맵 채굴을 위한 간단한 온라인 로컬-글로벌 지식 전이 프레임워크인 L2G를 제안한다. 우리는 입력 이미지를 로컬 패치로 대체할 때 분류 모델이 더 세부적인 객체 영역을 탐지할 수 있음을 관찰하였다. 이러한 관찰을 바탕으로, 먼저 입력 이미지에서 무작위로 잘라낸 여러 로컬 패치로부터 주의 맵을 추출하기 위해 로컬 분류 네트워크를 활용한다. 이후, 온라인 방식으로 여러 로컬 주의 맵 간의 보완적인 주의 지식을 글로벌 네트워크를 통해 학습한다. 본 프레임워크는 글로벌 네트워크를 통해 캡처된 풍부한 객체 세부 정보 지식을 종합적인 시각에서 학습함으로써, 직접 세분화 네트워크의 의사 레이블(pseudo annotations)로 사용할 수 있는 고품질의 주의 맵을 생성한다. 실험 결과, 본 방법은 PASCAL VOC 2012의 검증 세트에서 72.1%의 mIoU, MS COCO 2014에서는 44.2%의 mIoU를 달성하며, 각각 새로운 최고 성능 기록을 수립하였다. 코드는 https://github.com/PengtaoJiang/L2G 에서 공개되어 있다.