원샷 인스턴스 세그멘테이션

우리는 원샷 인스턴스 분할(one-shot instance segmentation) 문제를 다룹니다: 새로운 이전에 알려지지 않은 객체 카테고리의 예제 이미지가 주어졌을 때, 복잡한 장면 내에서 해당 카테고리의 모든 객체를 찾아 분할하는 것입니다. 이 도전적인 새로운 과제를 해결하기 위해 우리는 Siamese Mask R-CNN을 제안합니다. 이 모델은 참조 이미지와 장면을 모두 인코딩하는 Siamese 백본(Siamese backbone)을 통해 Mask R-CNN을 확장하여, 참조 카테고리를 대상으로 하는 검출 및 분할이 가능하도록 합니다. 우리는 MS Coco 데이터셋에서의 경험적 결과를 통해 원샷 설정(one-shot setting)의 어려움을 강조합니다: 인스턴스 분할에 대한 지식을 새로운 객체 카테고리로 전달하는 것은 매우 잘 작동하지만, 검출 네트워크를 참조 카테고리로 맞추는 것은 더 어렵습니다. 우리의 연구는 원샷 인스턴스 분할에 대한 첫 번째 강력한 기준선(baseline)을 제공하며, 향후 더 강력하고 유연한 장면 분석 알고리즘에 대한 연구를 촉진하기를 바랍니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/bethgelab/siamese-mask-rcnn