계층적 특징 정제 네트워크를 활용한 객체 탐지에서 이벤트와 프레임의 통합

프레임 기반 시각 시스템에서 기존 카메라의 제한된 감지 능력으로 인해 어려운 환경 조건 하에서 객체 탐지 성능이 크게 저하된다. 이에 반해 이벤트 카메라는 희소하고 비동기적인 이벤트를 출력함으로써 이러한 문제를 해결할 잠재적 해결책을 제공한다. 그러나 두 가지 이질적인 모달리티를 효과적으로 융합하는 것은 여전히 미해결 과제로 남아 있다. 본 연구에서는 이벤트-프레임 융합을 위한 새로운 계층적 특징 정제 네트워크를 제안한다. 핵심 아이디어는 '교차 모달 적응형 특징 정제(Cross-modality Adaptive Feature Refinement, CAFR)' 모듈로, 거시적에서 미시적까지의 계층적 융합을 구현하는 것이다. 초기 단계에서는 이중 방향 교차 모달 상호작용(Bidirectional Cross-modality Interaction, BCI) 모듈을 통해 두 개의 서로 다른 정보 소스 간의 정보 연결을 촉진한다. 이후, 이중 적응형 특징 정제(Two-fold Adaptive Feature Refinement, TAFR) 모듈을 통해 채널 수준의 평균과 분산을 정렬함으로써 특징을 추가로 정제한다. 제안된 방법은 저해상도 PKU-DDD17-Car 데이터셋과 고해상도 DSEC 데이터셋 두 가지 벤치마크에서 광범위한 실험을 수행하였다. 실험 결과, DSEC 데이터셋에서 기존 최고 성능 기법 대비 놀라운 $\textbf{8.0}\%$의 성능 향상을 달성하였다. 또한, 프레임 이미지에 15가지의 다양한 손상 유형을 도입했을 때, 제안 방법은 기존 기법보다 훨씬 뛰어난 강건성(69.5% 대비 38.7%)을 보였다. 코드는 다음 링크에서 확인할 수 있다: (https://github.com/HuCaoFighting/FRN).