조명 인식 Faster R-CNN을 이용한 강건한 다중 스펙트럼 보행자 검출

다중 스펙트럼 이미지에서 색상-열 쌍을 사용한 보행자 검출은 특히 어려운 조명 조건 하에서 단일 색상 채널보다 더 효과적임이 입증되었습니다. 그러나 두 모달성을 효과적으로 융합하는 방법에 대한 연구는 아직 부족한 상태입니다. 본 논문에서는 6가지 다른 합성곱 신경망 융합 아키텍처를 깊게 비교하고 그 적응성을 분석하여, 기존의 아키텍처로 최신 결과와 유사한 검출 성능을 얻을 수 있도록 합니다. 또한, 우리는 색상 또는 열 이미지에서의 보행자 검출 신뢰도가 조명 조건과 상관관계가 있음을 발견하였습니다. 이를 바탕으로, 우리는 조명 인식형 Faster R-CNN (Illumination-aware Faster R-CNN, IAF RCNN)을 제안합니다. 구체적으로, 입력 이미지의 조명 값을 측정하기 위한 조명 인식형 네트워크(Illumination-aware Network)를 도입하였습니다. 그런 다음, 이 조명 값에 정의된 게이트 함수(gate function)를 통해 색상 및 열 서브네트워크를 적응적으로 병합합니다. KAIST 다중 스펙트럼 보행자 벤치마크(KAIST Multispectral Pedestrian Benchmark)에서 수행된 실험 결과는 제안된 IAF RCNN의 효과성을 확인해주고 있습니다.