MLPD: 다중 레이블 보행자 검출기(Multi-Label Pedestrian Detector)의 다중 스펙트럼 도메인 적용

다중스펙트럴 보행자 탐지는 조명 및 날씨 변화에 대응하기 위한 유망한 다중 모달리티 솔루션으로 활발히 연구되고 있다. 대부분의 다중 모달리티 접근법은 모든 입력 데이터가 완전히 겹쳐진다는 전제를 가진다. 그러나 기존 센서 구성의 복잡성으로 인해 이러한 완전히 겹쳐진 데이터 쌍은 실제 응용에서는 흔하지 않다. 본 논문에서는 모든 입력 데이터가 쌍을 이루지 않는 다중스펙트럴 보행자 탐지를 다룬다. 이를 위해 우리는 입력 이미지 쌍의 상태에 따라 별도의 레이블을 부여함으로써 입력 상태 인식 특징을 학습하는 다중 레이블 학습을 활용하는 새로운 단계형 탐지 프레임워크를 제안한다. 또한, 기하학적 변환을 적용하여 쌍이 없는 다중스펙트럴 이미지를 합성하는 새로운 증강 전략을 제시한다. 광범위한 실험을 통해 본 방법이 스테레오 비전 환경에서 완전히 겹쳐진 이미지와 부분적으로 겹쳐진 이미지 등 다양한 실제 환경에서 효과적임을 입증하였다. 코드 및 시연 영상은 https://github.com/sejong-rcv/MLPD-Multi-Label-Pedestrian-Detection 에서 확인할 수 있다.