초록
우리는 클래스 무관(instance-agnostic) 개체 분할을 위한 적응형 인스턴스 선택(Adaptive Instance Selection, AdaptIS) 네트워크 아키텍처를 제안한다. 입력 이미지와 점 $(x, y)$가 주어지면, 해당 점에 위치한 객체에 대한 마스크를 생성한다. 이 네트워크는 AdaIN 층을 활용하여 입력 점에 따라 적응하게 되어, 동일한 이미지 내의 서로 다른 객체에 대해 각각 다른 마스크를 생성할 수 있다. AdaptIS는 픽셀 수준의 정확도를 갖춘 객체 마스크를 생성하므로, 복잡한 형상이나 심각한 겹침(occlusion)을 겪는 객체도 정확하게 분할할 수 있다. AdaptIS는 표준 세그멘테이션 파이프라인과 쉽게 결합되어 패노픽 세그멘테이션(panoptic segmentation)을 수행할 수 있다. 제안 아이디어를 설명하기 위해, 어려운 겹침이 있는 도전적인 장난감 문제에 대한 실험을 수행한다. 이후, 패노픽 세그멘테이션 벤치마크에서 광범위하게 성능을 평가한다. COCO 데이터셋에서의 사전 훈련 없이도 Cityscapes 및 Mapillary 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 도전적인 COCO 데이터셋에서도 경쟁력 있는 결과를 보였다. 본 방법의 소스 코드 및 학습된 모델은 https://github.com/saic-vul/adaptis 에 공개되어 있다.