EmbedMask: 단계별 인스턴스 세그멘테이션을 위한 임베딩 커플링

현재의 인스턴스 세그멘테이션 기법은 먼저 세그멘테이션을 수행한 후 클러스터링을 하는 세그멘테이션 기반 방법과, 먼저 객체를 탐지한 후 리풀링(repooling)을 사용해 각 인스턴스 제안에 대해 마스크를 예측하는 제안 기반 방법으로 나눌 수 있다. 본 연구에서는 이러한 두 방법의 장점을 결합하여 통합하는 단일 단계(one-stage) 기법인 EmbedMask를 제안한다. 제안 기반 방법과 마찬가지로 EmbedMask는 탐지 모델 위에 구축되어 탐지 능력이 뛰어나다. 동시에, 픽셀과 제안에 대한 추가적인 임베딩 모듈을 도입하여, 동일한 인스턴스에 속한 픽셀의 임베딩이 제안 임베딩에 의해 안내되도록 한다. 이러한 임베딩 결합 과정을 통해, 임베딩 값이 유사한 픽셀들은 해당 제안의 마스크에 할당된다. 픽셀 수준의 클러스터링은 리풀링 과정에서 세부 정보가 손실되지 않고 고해상도 마스크를 생성할 수 있도록 하며, 제안 임베딩의 존재는 클러스터링 절차를 단순화하고 강화하여, 세그멘테이션 기반 방법보다 더 높은 성능과 더 빠른 속도를 달성할 수 있다. 별도의 복잡한 기법 없이도 EmbedMask는 대표적인 이단계 기법인 Mask R-CNN과 비교해 유사한 성능을 달성하며, 더 세밀한 마스크를 더 빠르게 생성할 수 있다. 코드는 github.com/yinghdb/EmbedMask 에서 공개되어 있다.