악조건에서 강건한 객체 탐지 위한 이벤트 기반 카메라와 RGB 카메라 융합

이미지 손상 및 다양한 기상 조건 하에서도 물체를 탐지할 수 있는 능력은 딥러닝 모델, 특히 자율주행과 같은 실세계 응용 분야에 적용될 때 매우 중요하다. 기존의 RGB 기반 탐지 기술은 이러한 조건에서 성능이 저하되며, 따라서 주된 프레임 기반 탐지 시스템의 실패에 대비해 중복성을 갖춘 센서 구성이 필수적이다. 이벤트 기반 카메라는 자율주행 차량이 주행 중 마주할 수 있는 저조도 환경이나 고다이내믹 레인지 시나리오에서 프레임 기반 카메라의 한계를 보완할 수 있다. 본 연구에서는 이러한 상황에서도 강건한 이벤트 기반과 프레임 기반 카메라의 중복 센서 융합 모델을 제안한다. 제안된 방법은 이벤트 데이터를 볼록 격자(Voxel Grid) 표현으로 입력으로 사용하며, 프레임과 이벤트에 대해 병렬로 작동하는 두 개의 특징 추출 네트워크를 제안한다. 제안한 센서 융합 기법은 단순히 프레임 기반 탐지보다 약 30% 이상 더 강건한 성능을 보이며, 단독 이벤트 기반 탐지보다도 우수한 성능을 나타낸다. 본 모델은 공개된 DSEC 데이터셋을 기반으로 학습 및 평가되었다.