채널 및 공간 관계 전파 네트워크를 이용한 RGB-열 영상 의미 분할

RGB-열화상(RGB-T) 의미 분할은 RGB 기반 분할이 저조도 환경에서 빈약한 RGB 이미지 품질로 인해 제약을 받는 상황에서 큰 잠재력을 보여주고 있습니다. RGB-T 의미 분할의 핵심은 RGB와 열화상 이미지의 보완적 특성을 효과적으로 활용하는 것입니다. 대부분의 기존 알고리즘은 단일 방향 강화 또는 양방향 집계 방식으로 피처 공간에서 연결(concatenation), 요소별 덧셈(element-wise summation), 또는 주의(attention) 연산을 통해 RGB와 열화상 정보를 융합합니다. 그러나 이러한 방법들은 피처 융합 과정에서 RGB와 열화상 이미지 간의 모달리티 간극(modality gap)을 종종 무시하여, 한 모달리티의 모달리티 특异性 정보가 다른 모달리티를 오염시키는 문제를 초래합니다.본 논문에서는 이러한 문제를 해결하기 위해, 다양한 모달리티 간에 공유되는 정보만 전파하고 모달리티 특异性 정보 오염 문제를 완화하는 채널 및 공간 관계 전파 네트워크(Channel and Spatial Relation-Propagation Network, CSRPNet)를 제안합니다. CSRPNet은 먼저 채널과 공간 차원에서 관계 전파(relation-propagation)를 수행하여 RGB와 열화상 피처로부터 공유되는 피처를 추출합니다. 그런 다음 CSRPNet은 한 모달리티에서 추출된 공유 피처를 다른 모달리티의 입력 피처와 집계하여 오염 문제 없이 입력 피처를 강화합니다. 이들 강화된 RGB와 열화상 피처는 각각 후속 RGB 또는 열화상 피처 추출 계층으로 전달되어 상호작용적인 피처 융합을 수행합니다.또한 우리는 다중 계층 피처를 집계하여 의미 예측과 경계 예측을 위한 두 개의 정제된 피처를 생성하는 듀얼 패스 캐스케이드 피처 정제 모듈(dual-path cascaded feature refinement module)을 소개합니다. 광범위한 실험 결과는 CSRPNet이 최신 알고리즘들과 비교하여 우수한 성능을 발휘함을 입증하고 있습니다.