DeeperLab: 단일 샷 이미지 파서

우리는 전체 이미지 파싱을 위한 단일 샷, 하향식 접근법을 제시합니다. 전체 이미지 파싱은 팬오프틱 세그멘테이션(Panoptic Segmentation)으로도 알려져 있으며, '물질(stuff)' 클래스의 의미론적 세그멘테이션과 '개체(thing)' 클래스의 인스턴스 세그멘테이션 과제를 일반화하여 이미지의 모든 픽셀에 의미론적 및 인스턴스 라벨을 할당합니다. 최근의 전체 이미지 파싱 접근법들은 주로 의미론적 세그멘테이션과 인스턴스 세그멘테이션 과제를 위한 별도의 독립 모듈을 사용하고 여러 번의 추론 과정을 필요로 합니다. 반면, 제안된 DeeperLab 이미지 파서는 이러한 두 가지 과제를 단일 샷 방식으로 동시에 처리하는 완전히 컨볼루셔널한 접근법을 사용하여 전체 이미지 파싱을 수행하며, 이는 빠른 처리에 더 적합한 간결한 시스템을 제공합니다. 정량적 평가를 위해 우리는 인스턴스 기반 팬오프틱 퀄리티(PQ) 지표와 제안된 영역 기반 파싱 커버링(PC) 지표를 사용하는데, 후자는 '물질' 클래스와 큰 개체 인스턴스에서의 이미지 파싱 품질을 더 잘 포착합니다. 실험 결과는 어려운 Mapillary Vistas 데이터셋에서 보고되며, 우리의 단일 모델은 GPU 상에서 초당 3 프레임(fps)으로 31.95%(검증), 31.6% PQ(테스트)와 55.26% PC(검증)를 달성하였으며, 정확도가 다소 감소하는 대신 GPU 상에서 실시간에 가까운 속도(22.6 fps)로 작동할 수 있습니다.