세마틱을 넘어서 인스턴스 분할까지: 의미 지식 전송 및 자기 개선을 통한 약하게 지도된 인스턴스 분할

약한 감독 인스턴스 분할(Weakly-supervised Instance Segmentation, WSIS)은 약한 감독 의미론적 분할(Weakly-supervised Semantic Segmentation, WSSS)보다 더 어려운 작업으로 간주되어 왔다. WSSS와 비교하여 WSIS는 이미지 레벨 라벨에서 추출하기 어려운 인스턴스 단위의 위치 정보를 필요로 한다. 이 문제를 해결하기 위해 대부분의 WSIS 접근 방식은 인스턴스 또는 객체 레벨 라벨을 사용하여 사전 학습이 필요한 오프더셀프 제안 기술을 활용한다. 그러나 이러한 방법은 완전히 이미지 레벨로 감독되는 설정의 근본적인 정의에서 벗어난다. 본 논문에서는 두 가지 혁신적인 구성 요소를 포함하는 새로운 접근 방식을 제안한다. 첫째, 우리는 WSSS에서 WSIS로 지식을 전달하면서 오프더셀프 제안의 필요성을 제거하기 위한 의미론적 지식 전달(Semantic Knowledge Transfer) 방법을 제안한다. 둘째, 온라인 방식으로 정제된 라벨을 사용하여 훈련하는 자기 감독 스키마에서 가짜 인스턴스 라벨을 정제하는 자기 정제(Self-Refinement) 방법을 제안한다. 여기서 우리는 가짜 인스턴스 라벨에 존재하지 않는 인스턴스가 배경 클래스로 분류됨으로써 발생하는 오류 현상, 즉 의미론적 이동(Semantic Drift)을 발견하였다. 이 의미론적 이동은 훈련 과정에서 배경과 인스턴스 사이의 혼동을 일으키고 결과적으로 분할 성능이 저하된다. 우리는 이 문제를 의미론적 이동 문제라고 명명하고, 제안된 자기 정제 방법이 이러한 문제를 해결함을 보여준다. PASCAL VOC 2012와 MS COCO 데이터셋에서 수행된 광범위한 실험들은 우리의 접근 방식의 효과성을 입증하며, 오프더셀프 제안 기술 없이도 상당한 성능을 달성하였다. 코드는 https://github.com/clovaai/BESTIE 에서 확인할 수 있다.