완전 컨볼루션 네트워크를 이용한 패노픽 세그멘테이션

본 논문에서는 전반적인 세분화(panoptic segmentation)를 위한 개념적으로 간단하면서도 강력하고 효율적인 프레임워크인 Panoptic FCN을 제안한다. 제안하는 방법은 전역 컨볼루션(fullly convolutional) 파이프라인을 통해 전경의 개체( things )와 배경의 영역( stuff )을 통합적으로 표현하고 예측하는 것을 목표로 한다. 특히, Panoptic FCN은 제안한 커널 생성기(kernel generator)를 통해 각 객체 인스턴스나 스태프 카테고리를 특정한 커널 가중치로 인코딩하고, 고해상도 특징을 직접 컨볼루션함으로써 예측을 수행한다. 이 방식을 통해 단순한 ‘커널 생성 후 세분화(generate-kernel-then-segment)’ 워크플로우 내에서 인스턴스 인식과 의미적 일관성을 각각 효과적으로 만족시킬 수 있다. 위치 정보를 위한 추가 박스나 인스턴스 분리 과정 없이도, 단일 스케일 입력에서 COCO, Cityscapes, Mapillary Vistas 데이터셋에서 기존의 박스 기반 및 박스 자유 모델들을 뛰어넘는 높은 성능을 달성하면서도 매우 효율적인 성능을 보였다. 본 연구의 코드는 공개되어 있으며, https://github.com/Jia-Research-Lab/PanopticFCN 에서 확인할 수 있다.