공간 임베딩과 클러스터링 밴드폭을 공동으로 최적화하여 인스턴스 분할 수행

최신의 인스턴스 분할 방법들은 자율 주행과 같은 실시간 응용 프로그램에 적합하지 않습니다. 이러한 응용 프로그램은 높은 정확도를 유지하면서 빠른 실행 시간을 요구합니다. 현재 주류를 이루는 제안(proposal) 기반 방법들은 높은 정확도를 제공하지만, 느리고 고정된 낮은 해상도에서 마스크를 생성합니다. 반면에 제안이 없는(proposal-free) 방법들은 고해상도에서 마스크를 생성하고 종종 더 빠르지만, 제안 기반 방법들과 동일한 정확도에 도달하지 못합니다. 본 연구에서는 제안이 없는 인스턴스 분할을 위한 새로운 클러스터링 손실 함수를 제안합니다. 이 손실 함수는 같은 인스턴스에 속하는 픽셀들의 공간 임베딩을 서로 가까이 모으고, 동시에 인스턴스별 클러스터링 대역폭을 학습하여 결과적인 인스턴스 마스크의 교차 연합(intersection-over-union) 값을 최대화합니다. 빠른 아키텍처와 결합하면, 네트워크는 실시간으로 인스턴스 분할을 수행하면서 높은 정확도를 유지할 수 있습니다. 우리는 어려운 Cityscapes 벤치마크에서 우리의 방법을 평가하였으며, 2MP 이미지에서 10fps 이상의 성능으로 Mask R-CNN보다 5% 개선된 최상의 결과를 얻었습니다. 코드는 https://github.com/davyneven/SpatialEmbeddings 에서 제공될 예정입니다.