HAPNet: 하이브리드, 비대칭, 그리고 점진적인 이종 특성 융합을 통한 우수한 RGB-열화상 장면 해석

데이터 융합 네트워크는 RGB-열화상 장면 해석에서 상당한 잠재력을 보여주고 있습니다. 그러나 기존 연구의 대부분은 이질적 특성 추출 및 융합을 위해 대칭형 듀플렉스 인코더를 사용하여, RGB와 열화상 모달 간의 본질적인 차이에 충분히 주목하지 않았습니다. 최근, 자가 감독을 통해 대량의 비라벨 데이터로 훈련된 시각 기반 모델(VFMs)이 정보가 풍부하고 일반적인 특성을 추출하는 능력을 입증하였습니다. 그러나 이러한 잠재력은 아직 해당 분야에서 완전히 활용되지 않았습니다. 본 연구에서는 이 새로운 연구 영역으로 한 걸음 더 나아가, RGB-열화상 장면 해석을 위해 VFM 특성을 완전히 활용할 수 있는 실현 가능한 전략을 탐구합니다. 특히, RGB와 열화상 모달의 독특한 특성을 깊이 있게 분석하여, VFM과 합성곱 신경망(CNN)을 결합한 하이브리드 비대칭 인코더를 설계하였습니다. 이 설계는 보완적인 이질적 특성을 더욱 효과적으로 추출할 수 있으며, 이를 두 개의 경로를 통해 점진적으로 융합합니다. 또한, 융합된 특성의 지역 의미를 더욱 풍부하게 만드는 보조 작업을 도입하여, RGB-열화상 장면 해석의 전반적인 성능을 향상시킵니다. 제안된 HAPNet은 이러한 모든 구성 요소를 갖추고 있어, 다른 최신 RGB-열화상 장면 해석 네트워크들보다 우수한 성능을 보여주며, 세 가지 널리 사용되는 공개 RGB-열화상 장면 해석 데이터셋에서 최고 등급을 달성하였습니다. 우리는 이 새로운 패러다임이 데이터 융합 장면 해석 접근 방식의 미래 발전에 새로운 기회를 제공할 것으로 믿습니다.