SOGNet: 팔레오틱 세그멘테이션을 위한 장면 오버랩 그래프 네트워크

판오틱 세그멘테이션(task)은 세분적 세그멘테이션(semantic segmentation)과 인스턴스 세그멘테이션(instance segmentation)의 출력 결과를 통합하여 겹치는 영역을 포함할 수 있는 단일 결과를 요구한다. 그러나 기존 연구들은 이러한 겹침 관계를 모델링하는 데 거의 주목하지 않았다. 본 연구에서는 인스턴스 간의 겹침 관계를 모델링하고 이를 해결함으로써 판오틱 세그멘테이션을 개선하고자 한다. 장면 그래프(scene graph) 표현 방식에 영감을 받아, 겹침 문제를 간소화된 형태인 '장면 겹침 그래프(scene overlap graph)'로 정의한다. 각 객체의 카테고리, 기하학적 특성, 외형 특성을 활용하여 관계 임베딩(relational embedding)을 수행하고, 겹침 관계를 인코딩한 관계 행렬을 출력한다. 감독 신호의 부족 문제를 극복하기 위해, 임의의 두 인스턴스 간의 겹침을 해결할 수 있는 미분 가능한 모듈을 도입한다. 겹침을 제거한 마스크 로짓(mask logits)은 픽셀 단위의 인스턴스 id 분류기에 입력되며, 이는 판오틱 세그멘테이션의 감독 신호를 활용하여 겹침 관계 모델링을 보조한다. 또한, 예측된 겹침 관계의 정확도를 정량화하기 위해 근사적인 진짜 레이블(ground truth) 형태의 겹침 관계를 약한 감독 신호로 생성한다. COCO 및 Cityscapes 데이터셋에서의 실험 결과, 본 방법은 겹침 관계를 정확히 예측할 수 있으며, 판오틱 세그멘테이션 분야에서 최신 기술을 초월하는 성능을 보였다. 본 연구 방법은 COCO 2019 챌린지에서 혁신상(Innovation Award)을 수상하였다.