자동차는 하늘 위로 날 수 없다: 높이 기반 주의 네트워크를 통한 도시 환경 세그멘테이션 개선

이 논문은 도시 환경 이미지의 내재적 특징을 활용하여, 도시 환경 이미지의 의미 분할 성능을 향상시키기 위한 일반적인 추가 모듈인 높이 주도 주의망(HANet, height-driven attention networks)을 제안한다. HANet는 픽셀의 수직 위치에 따라 정보가 풍부한 특징이나 클래스를 선택적으로 강조한다. 도시 환경 이미지에서는 수평적으로 분할된 구역들 간에 픽셀별 클래스 분포가 상당히 다르게 나타난다. 마찬가지로 도시 환경 이미지에는 고유한 특징이 존재하지만, 대부분의 의미 분할 네트워크는 이러한 독특한 특성을 아키텍처에 반영하지 않는다. 제안하는 네트워크 아키텍처는 이러한 특징을 효과적으로 활용할 수 있는 능력을 통합하여 도시 환경 데이터셋을 보다 효과적으로 처리할 수 있도록 한다. HANet를 도입할 경우, 두 개의 데이터셋에서 다양한 의미 분할 모델이 일관된 성능 향상을 보임을 검증하였다. 이 광범위한 정량적 분석은 기존 모델에 본 모듈을 추가하는 것이 간편하고 비용 효율적임을 입증한다. 본 방법은 ResNet-101 기반의 분할 모델들 중에서 Cityscapes 벤치마크에서 새로운 최고 성능을 달성하며, 큰 차이를 보였다. 또한, 주의 맵(attention map)을 시각화하고 해석함으로써 제안된 모델이 도시 환경에서 관측된 사실과 일관됨을 보여주었다. 본 연구의 코드와 학습된 모델은 공개적으로 https://github.com/shachoi/HANet 에서 제공된다.