Instance-, Image- 및 Dataset-Level 정보를 활용한 약한 감독 하의 인스턴스 세그멘테이션

이미지 수준의 레이블(예: 이미지 레이블)만을 사용하여 픽셀 단위 마스크나 경계 상자(annotation)와 같은 고비용의 레이블링에 의존하지 않고 약한 감독(semi-supervised)된 의미적 인스턴스 세그멘테이션을 수행하는 것은 딥러닝의 데이터 집약적인 특성을 완화하는 데 있어 중요한 문제이다. 본 논문에서는 모든 훈련 이미지의 이미지 수준 정보를 하나의 대규모 지식 그래프(knowledge graph)로 통합하고, 이 그래프로부터 추출된 의미적 관계를 활용함으로써 이 도전적인 문제에 대응한다. 구체적으로, 카테고리 사전 지식(prior)이 없는 일반적인 세그먼트 기반 객체 제안(SOP, Segment-based Object Proposals)부터 시작한다. 우리는 이미지 수준 레이블만을 사용하여 엔드 투 엔드(end-to-end)로 학습 가능한 다중 인스턴스 학습(MIL, Multiple Instance Learning) 프레임워크를 제안한다. 각 제안에 대해 이 MIL 프레임워크는 동시에 확률 분포와 카테고리 인지(semantics-aware) 특징을 계산할 수 있으며, 이를 바탕으로 대규모 무방향 그래프(undirected graph)를 구성할 수 있다. 이 그래프에는 배경(background) 카테고리도 포함되어 있어, 대량의 노이즈를 포함한 객체 제안을 제거할 수 있다. 이 그래프에 대해 최적의 다중 방향 컷(multi-way cut)을 수행함으로써 각 제안에 신뢰할 수 있는 카테고리 레이블을 할당할 수 있다. 카테고리 레이블이 할당된 노이즈 제거된 SOP는 훈련 이미지에 대한 의사 인스턴스 세그멘테이션(pseudo instance segmentation)으로 간주할 수 있으며, 이를 사용하여 완전한 감독(fully supervised) 모델을 훈련시킬 수 있다. 제안된 방법은 약한 감독 인스턴스 세그멘테이션과 의미적 세그멘테이션 모두에서 현재까지의 최고 성능(state-of-the-art performance)을 달성하였다.