제거 후 선택: RGB-적외선 객체 탐지를 위한 거친에서 세밀한 융합 관점

최근 들어 가시광선(RGB)과 열적 적외선(IR) 영상을 동시에 활용한 객체 탐지 기술은 광범위한 주목을 받으며 다양한 분야에서 널리 적용되고 있다. RGB와 IR 영상 간의 상보적인 특성을 활용함으로써, 주간에서 야간 환경에 이르기까지 다양한 조명 조건에서도 신뢰성 있고 강건한 객체 위치 추정이 가능해진다. 그러나 기존의 대부분의 다중 모달 객체 탐지 방법은 RGB와 IR 영상을 직접 심층 신경망에 입력하는 방식을 채택하고 있어, 성능이 제한적인 문제가 있다. 본 연구에서는 이러한 문제의 원인이 단순히 다중 모달 정보를 효과적으로 통합하는 데 존재하는 도전 과제 때문만이 아니라, RGB 및 IR 각 모달 내부에 존재하는 중복 특징(featu re redundancy)도 중요한 원인이라고 판단한다. 각 모달 내의 중복 정보는 특징 전파 과정에서 융합 정확도 저하 문제를 악화시킨다. 이 문제를 해결하기 위해 인간 뇌가 다중 모달 정보를 처리하는 메커니즘을 영감으로 삼아, 보다 정교한 특징 정제 및 융합을 위한 새로운 '거시적에서 미시적' 접근 방식(coarse-to-fine perspective)을 제안한다. 구체적으로, 이 관점에 따라 각 모달 내의 간섭 정보를 거시적으로 제거하는 '중복 스펙트럼 제거 모듈(Redundant Spectrum Removal module)'과 특징 융합을 위해 원하는 특징을 미시적으로 선택하는 '동적 특징 선택 모듈(Dynamic Feature Selection module)'을 설계하였다. 이러한 거시적에서 미시적 융합 전략의 효과를 검증하기 위해, '제거 후 선택 탐지기(Removal then Selection Detector, RSDet)'라는 새로운 객체 탐지기를 구축하였다. RGB-IR 객체 탐지 데이터셋 3종에 대한 광범위한 실험을 통해 제안된 방법의 우수한 성능을 입증하였다.