초록
우리는 컨볼루션 신경망과 비대칭 다중 방향 컷 문제 해결기로 구성된, 동시에 의미적 분할(semantic segmentation)과 인스턴스 분할(instance segmentation)을 수행하는 완전 미분 가능한 아키텍처를 제안한다(이를 패노픽 분할(panoptic segmentation)이라 한다). 후자의 문제 해결기는 조합 최적화 문제를 해결함으로써 의미적 분할 결과와 경계 예측을 우아하게 통합하여 패노픽 레이블링을 생성한다. 제안하는 공식화는 최적화 문제를 통해 역전파를 수행함으로써, 패노픽 품질 지표의 부드러운 대체 지표를 직접 최대화할 수 있도록 한다. 실험적 평가 결과, Cityscapes 및 COCO 데이터셋에서 기존의 비교적 접근법에 비해 최적화 문제를 통해 역전파하는 방식이 성능 향상을 보였다. 종합적으로, 본 연구는 깊이 학습과 조합 최적화를 결합하여 도전적인 대규모 실세계 문제를 해결하는 데 있어 그 유용성을 보여주며, 이러한 아키텍처를 훈련하는 데 있어 얻어지는 이점과 통찰력을 제시한다.