REFINE: 패노픽 세그멘테이션을 위한 예측 융합 네트워크

패노픽 세그멘테이션은 입력 이미지의 각 픽셀에 대해 클래스 및 인스턴스 예측을 픽셀 단위로 생성하는 것을 목표로 하며, 이는 단순히 세그멘테이션 결과를 합성하는 것보다 훨씬 도전적인 작업이며 훨씬 더 복잡한 과제이다. 따라서 정확한 패노픽 세그멘테이션을 달성하기 위해서는 예측 병합(fusion)이 매우 중요하다. 본 논문에서는 교차 작업 예측 병합과 내부 작업 예측 병합을 개선함으로써 고품질의 패노픽 세그멘테이션을 달성하는 REFINE(PreDiction FuSion NEtwork)을 제안한다. DCN을 적용한 단일 모델 기반의 ResNeXt-101은 COCO 데이터셋에서 PQ=51.5의 성능을 달성하여 기존 최고 수준의 성능을 확실히 뛰어넘으며, 앙상블 모델과도 비슷한 수준의 성능을 보였다. 또한 ResNet-50 기반의 보다 작은 모델은 PQ=44.9의 성능을 기록하였으며, 더 큰 백본을 사용한 기존 최고 수준의 방법들과도 경쟁 가능한 수준의 성능을 보였다.