INSANet: 다중 스펙트럼 보행자 탐지에서 효과적인 특징 융합을 위한 내부-외부 스펙트럴 주의력 네트워크

보행자 탐지는 안전에 중요한 시스템에서 핵심적인 과제이지만, 저조도 및 악천후 조건에서는 보행자를 탐지하는 것이 어려운 과제이다. 열화상 이미지는 RGB 이미지와 보완적인 정보를 제공함으로써 강건성을 향상시키는 데 활용될 수 있다. 기존 연구들은 컨볼루션 연산을 활용한 다중 모달 특징 융합이 효과적임을 보여주었으나, 이러한 방법들은 오직 국소적 특징 상관관계에 의존하기 때문에 성능 저하를 초래할 수 있다. 이 문제를 해결하기 위해, 본 연구에서는 글로벌한 내부 및 상호 스펙트럼 정보를 포착할 수 있는 주의 기반의 새로운 융합 네트워크인 INSANet(Intra-Intra Spectral Attention Network)을 제안한다. 이 네트워크는 내-스펙트럼 및 상호-스펙트럼 주의 블록으로 구성되어 있으며, 모델이 서로 다른 스펙트럼 간의 상호 관계를 학습할 수 있도록 한다. 또한, 여러 요인으로 인해 다중 스펙트럼 데이터셋에 존재하는 불균형 문제를 식별하고, 보행자의 위치 분포가 집중되는 문제를 완화하기 위한 증강 전략을 설계하였다. 이를 통해 모델이 다양한 위치에 존재하는 보행자를 더 잘 학습할 수 있도록 하였다. 광범위한 실험을 통해 제안된 방법의 유효성을 입증하였으며, KAIST 데이터셋 및 LLVIP 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였다. 마지막으로, 다양한 지역에서의 성능 평가를 수행하여 제안된 네트워크의 지역별 효과성을 입증하였다.