다중 스펙트럼 데이터의 조명 인식 딥 뉴럴 네트워크를 통한 보행자 검출

다중 스펙트럼 보행자 검출은 최근 몇 년 동안 전반적인 시간대에 걸친 응용 프로그램(예: 보안 감시 및 자율 주행)에서 견고한 인간 대상 검출을 촉진할 수 있는 유망한 해결책으로 많은 관심을 받고 있습니다. 본 논문에서는 다중 스펙트럼 이미지에 인코딩된 조명 정보가 보행자 검출의 성능을 크게 향상시키는 데 활용될 수 있음을 증명합니다. 새로운 조명 인식 가중치 메커니즘이 제시되어 장면의 조명 상태를 정확히 묘사할 수 있습니다. 이러한 조명 정보는 두 개의 스트림 딥 컨볼루션 신경망에 통합되어 낮과 밤 등 다양한 조명 상태 하에서 다중 스펙트럼 인간 관련 특성을 학습하는 데 사용됩니다. 또한, 우리는 조명 정보와 다중 스펙트럼 데이터를 함께 사용하여 더 정확한 의미 분할을 생성하여 보행자 검출 정확도를 향상시키는 데 활용하였습니다. 모든 요소를 종합하여, 우리는 조명 인식 보행자 검출과 의미 분할의 다중 작업 학습 기반 강력한 다중 스펙트럼 보행자 검출 프레임워크를 제시합니다. 제안된 방법은 잘 설계된 다중 작업 손실 함수를 사용하여 엔드-투-엔드로 학습되며, KAIST 다중 스펙트럼 보행자 데이터셋에서 최신 기술보다 우수한 성능을 나타냅니다.