깊은 이중 해상도 네트워크를 이용한 도로 장면의 실시간 및 정확한 의미 분할

시맨틱 세그멘테이션은 자율 주행 차량이 주변 환경을 이해하는 데 있어 핵심 기술입니다. 현대의 모델들은 뛰어난 성능을 보여주지만, 이는 대부분 복잡한 계산과 긴 추론 시간을 요구하며, 이는 자동 운전에 있어서 용납할 수 없는 단점입니다. 최근 연구에서는 경량 아키텍처(인코더-디코더 또는 두 경로 구조)를 사용하거나 저해상도 이미지에서 추론을 수행하여 매우 빠른 장면 해석을 실현하였습니다. 이러한 방법들은 단일 1080Ti GPU에서 100 FPS 이상으로 실행될 수 있습니다. 그러나 이러한 실시간 방법들과 딜레이션 백본을 기반으로 하는 모델들 사이에는 여전히 성능 차이가 크게 존재합니다.이 문제를 해결하기 위해, 우리는 실시간 시맨틱 세그멘테이션에 특화된 효율적인 백본군을 제안하였습니다. 제안된 깊은 이중 해상도 네트워크(Deep Dual-Resolution Networks, DDRNets)는 두 개의 깊은 분기로 구성되며, 이들 사이에서 여러 양방향 융합이 이루어집니다. 또한, 우리는 효과적인 수용 필드를 확장하고 저해상도 피처 맵 기반으로 다중 스케일 컨텍스트를 융합하는 새로운 컨텍스트 정보 추출기인 Deep Aggregation Pyramid Pooling Module (DAPPM)을 설계하였습니다.우리의 방법은 Cityscapes와 CamVid 데이터셋 모두에서 정확성과 속도 간의 새로운 최적 균형점을 달성하였습니다. 특히, 단일 2080Ti GPU에서 DDRNet-23-slim은 Cityscapes 테스트 세트에서 102 FPS로 77.4% mIoU를, CamVid 테스트 세트에서는 230 FPS로 74.7% mIoU를 달성하였습니다. 일반적으로 사용되는 테스트 증강 기법을 적용할 경우, 우리의 방법은 대부분의 최신 모델보다 우수하며 훨씬 적은 계산량을 필요로 합니다. 코드와 학습된 모델들은 온라인으로 제공됩니다.