
세마틱 세그멘테이션은 자율 주행 및 로봇 센싱과 같은 다양한 응용 분야에서 중요한 역할을 합니다. 전통적인 방법들은 대부분 조명 조건에 크게 영향을 받는 RGB 이미지를 사용합니다(예: 어두운 환경). 최근 연구에서는 열화상이 야간 시나리오에서 세그멘테이션의 보완 모달리티로서 강건함을 보임을 보여주었습니다. 그러나 기존 연구들은 RGB-열화상(RGB-T) 이미지를 단순히 융합하거나, RGB 스트림과 열화상 스트림 모두에 동일한 구조의 인코더를 채택하여, 변화하는 조명 조건 하에서의 모달리티 차이를 간과하고 있습니다. 따라서 본 연구에서는 RGB-T 세마틱 세그멘테이션을 위한 잔차 공간 융합 네트워크(Residual Spatial Fusion Network, RSFNet)를 제안합니다. 특히, 비대칭 인코더를 사용하여 RGB 이미지와 열화상의 보완 특징을 학습합니다. 이진 모달리티 특징을 효과적으로 융합하기 위해, 우리는 주요성 검출로 가짜 라벨(pseudo-labels)을 생성하여 특징 학습을 감독하고, 구조 재매개 변수화(structural re-parameterization)를 통해 더 유망한 특징을 공간적으로 융합하도록 잔차 공간 융합(Residual Spatial Fusion, RSF) 모듈을 개발하였습니다. RSF는 계층적 특징 융합(hierarchical feature fusion)을 통해 다중 수준의 특징들을 집계하며, 신뢰 게이트(confidence gate)를 통해 적응적으로 다중 스펙트럼 특징 융합(multi-spectral feature fusion)을 제어하기 위해 잔차 연결(residual connection)과 함께 공간 가중치(spatial weights)를 적용합니다. 두 벤치마크인 MFNet 데이터베이스와 PST900 데이터베이스에서 광범위한 실험이 수행되었습니다. 실험 결과는 본 방법론의 최신 세그멘테이션 성능(state-of-the-art segmentation performance)을 입증하였으며, 정확성과 속도 사이에서 좋은 균형을 이루고 있음을 보여주었습니다.