SFNet: Semantic Flow를 통한 빠르고 정확한 의미 분할

본 논문에서는 더 빠르고 정확한 의미 분할을 위한 효과적인 방법들을 탐구하는 데 초점을 맞추고 있습니다. 성능 향상을 위해 일반적으로 고해상도 특성 맵에 강력한 의미 표현을 얻는 것이 중요합니다. 두 가지 전략, 즉 다공성 합성곱(atrous convolutions)과 특성 피라미드 융합(feature pyramid fusion)이 널리 사용되고 있지만, 이들 중 어느 하나도 계산량이 많거나 효과적이지 않은 경우가 많습니다. 인접 비디오 프레임 간의 모션 정렬을 위한 광학 유동(Optical Flow)에서 영감을 받아, 우리는 인접 수준의 특성 맵 간의 의미적 유동(Semantic Flow)을 학습하고 고수준 특성을 고해상도 특성으로 효과적이고 효율적으로 전달하기 위한 유동 정렬 모듈(Flow Alignment Module, FAM)을 제안합니다. 또한, 우리의 FAM을 표준 특성 피라미드 구조에 통합하면 다른 실시간 방법들보다 우수한 성능을 보이는 것으로 나타났으며, 특히 ResNet-18 및 DFNet과 같은 경량 백본 네트워크에서도 그러합니다.추론 과정을 더욱 가속화하기 위해, 우리는 고해상도 특성 맵과 저해상도 특성 맵을 직접 정렬하는 새로운 게이티드 듀얼 유동 정렬 모듈(Gated Dual Flow Alignment Module)을 제시합니다. 이를 개선된 버전의 네트워크로 SFNet-Lite라고 명명하였습니다. 여러 어려운 데이터셋에서 광범위한 실험을 수행하였으며, 결과는 SFNet와 SFNet-Lite의 효과성을 입증하였습니다. 특히 Cityscapes 테스트 세트를 사용할 때, ResNet-18 백본으로 60 FPS에서 80.1 mIoU를 달성하였으며, STDC 백본으로 120 FPS에서 78.8 mIoU를 달성하였습니다.또한, 우리는 네 가지 어려운 주행 데이터셋을 하나의 큰 데이터셋으로 통합하여 통합 주행 분할(Unified Driving Segmentation, UDS) 데이터셋이라고 명명하였습니다. 이 데이터셋은 다양한 도메인과 스타일 정보를 포함하고 있습니다. UDS에서 몇 가지 대표적인 연구들을 벤치마킹한 결과, SFNet와 SFNet-Lite는 여전히 최고의 속도와 정확도 균형을 이루며, 이러한 어려운 환경에서 강력한 기준선(baseline) 역할을 합니다. 코드와 모델은 공개적으로 이용 가능하며, 다음 주소에서 확인하실 수 있습니다: https://github.com/lxtGH/SFSegNets.