다중 스펙트럼 딥 뉴럴 네트워크를 이용한 보행자 검출

다중 스펙트럼 보행자 검출은 감시 및 자율 주행과 같은 24시간 운영 애플리케이션에서 필수적입니다. 본 연구에서는 다중 스펙트럼 보행자 검출 작업을 위해 Faster R-CNN을 깊이 분석하고 이를 컨볼루션 네트워크(ConvNet) 융합 문제로 모델링하였습니다. 또한, 색상 이미지 또는 열 이미지를 각각 사용하여 훈련된 ConvNet 기반의 보행자 검출기가 인간 인스턴스를 구분하는 데 상호 보완적인 정보를 제공함을 발견하였습니다. 따라서 색상 이미지와 열 이미지를 동시에 DNN에 사용하면 보행자 검출 성능을 크게 개선할 수 있는 잠재력이 큽니다. 우리는 세심하게 네 가지 ConvNet 융합 아키텍처를 설계하여 서로 다른 DNN 단계에서 두 가지 분기의 ConvNet을 통합하였으며, 이 모든 아키텍처가 베이스라인 검출기보다 더 우수한 성능을 나타냈습니다. KAIST 보행자 벤치마크에서의 실험 결과는 중간 수준의 컨볼루션 특성을 융합하는 Halfway Fusion 모델이 베이스라인 방법보다 11% 높은 성능을 보였으며, 제안된 다른 아키텍처들보다 3.5% 낮은 누락률을 기록하였습니다.