초록
다중 스펙트럼 보행자 탐지는 색상-열화상 모달리티를 활용함으로써 불충분한 조도 조건에 적응할 수 있다. 그러나 두 모달리티를 효과적으로 융합하는 방법에 대한 심층적인 통찰은 여전히 부족한 실정이다. 기존의 보행자 탐지 기법과 비교했을 때, 다중 스펙트럼 보행자 탐지가 모달리티 불균형 문제를 겪고 있음을 발견하였다. 이는 이중 모달 네트워크의 최적화 과정을 방해하고 탐지기 성능을 저하시키는 원인이 된다. 이러한 관찰에 착안하여, 보다 유연하고 균형 잡힌 방식으로 최적화 과정을 촉진하는 모달리티 밸런스 네트워크(Modality Balance Network, MBNet)를 제안한다. 먼저, 두 모달리티가 서로 보완할 수 있도록 하는 새로운 차별적 모달리티 인지 융합(Differential Modality Aware Fusion, DMAF) 모듈을 설계하였다. 또한, 조도 조건에 따라 보완적인 특징을 선택하고 두 모달리티 특징을 적응적으로 정렬하는 조도 인지 특징 정렬 모듈을 제안하였다. 광범위한 실험 결과를 통해 MBNet이 KAIST 및 CVC-14와 같은 도전적인 다중 스펙트럼 보행자 데이터셋에서 정확도 및 계산 효율성 측면에서 기존 최고 수준의 기법들을 모두 능가함을 입증하였다. 코드는 https://github.com/CalayZhou/MBNet 에서 공개되어 있다.