UPSNet: 통합된 전경 분할 네트워크

본 논문에서는 최근 제안된 팬오라믹 세그멘테이션 작업을 해결하기 위한 통합 팬오라믹 세그멘테이션 네트워크(UPSNet)를 제시합니다. 단일 백본 잔차 네트워크 위에서, 먼저 변형 가능한 컨볼루션 기반의 의미 세그멘테이션 헤드와 Mask R-CNN 스타일의 인스턴스 세그멘테이션 헤드를 설계하여 이 두 하위 작업을 동시에 수행하도록 합니다. 더욱 중요한 것은, 파라미터가 없는 팬오라픽 헤드를 도입하여 픽셀 단위 분류를 통해 팬오라픽 세그멘테이션을 해결한다는 점입니다. 이 헤드는 먼저 앞서 설계한 두 개의 헤드에서 얻은 로짓(logits)을 활용하고, 그 다음으로 혁신적으로 표현을 확장하여 추가적인 미지 클래스(unknown class) 예측을 가능하게 함으로써 의미 세그멘테이션과 인스턴스 세그멘테이션 사이의 충돌을 더 잘 해결할 수 있습니다. 또한, 인스턴스 수의 변화로 인한 어려움을 처리하며, 엔드투엔드 방식으로 하부 모듈로 역전파를 허용합니다. Cityscapes, COCO 및 우리 내부 데이터셋에 대한 광범위한 실험 결과는 우리의 UPSNet이 매우 빠른 추론 속도로 최고 수준의 성능을 달성함을 보여줍니다. 코드는 다음과 같이 공개되어 있습니다: https://github.com/uber-research/UPSNet