초록
우리는 픽셀 단위의 의미 분할을 위해 계층적 분류기를 갖춘 합성곱 신경망을 제안합니다. 이 모델은 여러 개의 이질적인 데이터셋에서 동시에 훈련될 수 있으며, 그들의 의미적 계층 구조를 활용할 수 있습니다. 우리의 네트워크는 지능형 차량 영역에서 도시 경관(Cityscapes), 교통 표지판(GTSDB), 그리고 Mapillary Vistas 세 가지 다른 데이터셋에서 처음으로 동시에 훈련되었습니다. 또한, 다양한 의미적 상세 수준, 클래스 불균형, 그리고 다른 주석 유형(즉, 밀도 높은 픽셀 단위와 희소한 바운딩 박스 라벨)을 처리할 수 있습니다.우리는 평평한 비계층적 분류기와 비교하여 계층적 접근 방식을 평가하였으며, Cityscapes 클래스에서는 평균 픽셀 정확도가 13.0%, Vistas 클래스에서는 2.4%, GTSDB 클래스에서는 32.3% 개선되는 것을 보여주었습니다. 우리의 구현체는 GPU에서 실행될 때 520x706 해상도로 108개의 클래스에 대해 17 fps의 추론 속도를 달성합니다.