이미지 간 주목할 만한 인스턴스 연결을 통한 약한 지도 semantic segmentation

이미지 수준의 키워드 애너테이션과 해당 이미지의 픽셀 간을 효과적으로 연결하는 것은 약한 감독(semi-supervised) 세분화에서 주요 과제 중 하나이다. 본 논문에서는 트레이닝 이미지에 대해 명시적 객체(후보 객체)를 자동으로 생성하기 위해 인스턴스 수준의 주목할 만한 객체 탐지기(instance-level salient object detector)를 사용한다. 전체 트레이닝 셋에서 각 주목할 만한 인스턴스로부터 추출한 유사도 특징을 이용해 유사도 그래프(similarity graph)를 구축한 후, 그래프 분할 알고리즘(graph partitioning algorithm)을 적용하여 여러 하위 그래프로 분리한다. 각 하위 그래프는 단일 키워드(tag)와 대응된다. 본 연구에서 제안하는 그래프 분할 기반 클러스터링 알고리즘은 트레이닝 셋 내 모든 주목할 만한 인스턴스 간의 관계뿐만 아니라 각 인스턴스 내부의 정보를 동시에 고려할 수 있다. 또한, 주의(attention) 정보를 활용함으로써, 잘못된 할당을 보정할 수 있음을 보여주며, 이는 더 정확한 결과를 도출하는 데 기여한다. 제안된 프레임워크는 일반적이고, 최신의 완전 감독(fully-supervised) 네트워크 구조를 어떤 것도 통합하여 세그멘테이션 네트워크를 학습할 수 있다. DeepLab을 활용한 세그멘테이션 작업에서, 본 방법은 기존의 최첨단 약한 감독 대안들보다 크게 우수한 성능을 보이며, PASCAL VOC 2012 데이터셋에서 65.6%의 mIoU를 달성하였다. 또한 본 방법을 Mask R-CNN과 결합하여 인스턴스 세그멘테이션에 적용하였으며, 키워드 애너테이션만을 사용하여 약한 감독 기반의 인스턴스 세그멘테이션을 처음으로 구현함으로써, 그 가능성을 입증하였다.