목표 인식형 이중 적대학습과 다중 시나리오 다중 모달리티 벤치마크를 통한 적외선 및 가시광선 융합 객체 탐지

이 연구는 객체 탐지에서 적외선 이미지와 가시광선 이미지 간의 시각적 차이로 인한 이미지 융합 문제를 다룬다. 고품질의 시각적 만족도를 갖춘 이미지를 생성하기 위해 기존의 접근법들은 두 모달 간의 공통된 특성을 탐색하고, 반복 최적화 또는 딥 네트워크를 통해 공통 공간에서 융합을 수행한다. 그러나 이러한 방법들은 모달 간의 차이가 융합과 후속 탐지 작업에 있어 매우 중요한 보완 정보를 함의하고 있음을 간과하고 있다. 본 논문은 융합과 탐지의 공동 문제를 이중 최적화(바이레벨 최적화) 형식으로 제안하고, 이를 전개하여 타겟 인식을 고려한 이중 적대학습(TarDAL) 네트워크를 융합용으로, 일반적으로 사용되는 탐지 네트워크를 탐지용으로 구성한다. 융합 네트워크는 하나의 생성자(generator)와 이중 판별자(dual discriminators)를 갖추어, 공통점을 탐색하면서도 차이점을 학습함으로써, 적외선 이미지로부터의 구조적 정보와 가시광선 이미지로부터의 질감 세부 정보를 모두 보존한다. 더불어, 보정된 적외선 센서와 광학 센서를 갖춘 동기화된 이미징 시스템을 구축하고, 현재까지 가장 포괄적인 벤치마크 데이터셋을 수집하였다. 여러 공개 데이터셋과 본 연구에서 제시한 벤치마크를 대상으로 한 광범위한 실험 결과는 제안된 방법이 기존 최고 성능 기법들보다 더 시각적으로 매력적인 융합 이미지를 생성할 뿐만 아니라, 더 높은 탐지 mAP를 달성함을 입증한다.