EventRPG: 관련성 전파 안내를 통한 이벤트 데이터 증강

이벤트 카메라(Event camera)는 낮은 지연 시간, 낮은 전력 소비 및 높은 다이내믹 레인지 등의 특징을 지닌 생물학적으로 영감을 받은 새로운 형태의 비전 센서로, 최근 많은 주목을 받고 있다. 그러나 스파이킹 신경망(Spiking Neural Network, SNN) 기반의 이벤트 기반 분류 작업에서는 공간 표현 능력이 상대적으로 약하기 때문에 과적합(overfitting) 문제가 여전히 심각한 과제로 남아 있다. 데이터 증강(data augmentation)은 과적합을 완화하고 신경망의 일반화 능력을 향상시키는 간단하면서도 효과적인 방법으로, 이미지 처리 분야에서 주목받는 시각적 중요도 기반 증강 기법(saliency-based augmentation)은 이미 효과가 입증된 바 있다. 그러나 기존에는 SNN에서 시각적 중요도 맵(saliency map)을 추출할 수 있는 방법이 존재하지 않았다. 이를 해결하기 위해 본 연구에서는 처음으로 안정적이고 정확한 CAMs(Class Activation Maps) 및 시각적 중요도 맵을 생성할 수 있는 스파이킹 레이어-시간 순서 신뢰도 전파 규칙(Spiking Layer-Time-wise Relevance Propagation rule, SLTRP)과 스파이킹 레이어 순서 신뢰도 전파 규칙(Spiking Layer-wise Relevance Propagation rule, SLRP)을 제안한다. 이 기반으로, SNN에서 신뢰도 전파를 활용한 보다 효율적인 데이터 증강을 위한 EventRPG를 제안한다. 제안된 방법은 여러 SNN 아키텍처에서 평가되었으며, N-Caltech101 및 CIFAR10-DVS에서 각각 85.62%, 85.55%의 정확도로 객체 인식 작업에서 최신 기술 수준의 성능을 달성하였으며, SL-Animals 데이터셋에서의 동작 인식 작업에서도 91.59%의 높은 정확도를 기록하였다. 본 연구의 코드는 https://github.com/myuansun/EventRPG 에서 공개되어 있다.