뉴로모픽 비전 데이터셋에서 SNN과 RNN 비교: 유사점과 차이점

뉴로모픽 데이터는 프레임리스 스파이크 이벤트를 기록함으로써 시간-공간 정보 구성요소와 이벤트 기반 처리 방식에 대한 큰 관심을 받고 있다. 스파이크 신경망(Spiking Neural Networks, SNNs)은 뉴로모픽 컴퓨팅을 위한 시간-공간 동역학을 갖춘 이벤트 기반 모델의 일종으로, 널리 뉴로모픽 데이터에서 벤치마킹되고 있다. 흥미롭게도 머신러닝 연구자들은 반복적(인공) 신경망(Recurrent Neural Networks, RNNs)도 이벤트 기반은 아니지만 시간-공간 특징을 추출할 수 있는 능력을 지닌다고 주장할 수 있다. 따라서 "만약 이 두 가지 모델을 뉴로모픽 데이터에서 함께 벤치마킹한다면 어떤 일이 벌어질까?"라는 질문이 제기되지만, 여전히 명확하지 않다. 본 연구에서는 뉴로모픽 데이터에서 SNN과 RNN을 체계적으로 비교하기 위해 시각 데이터셋을 사례로 삼아 분석한다. 먼저, 모델링 및 학습 관점에서 SNN과 RNN(기본 RNN 및 LSTM 포함) 간의 유사점과 차이점을 규명한다. 비교의 타당성과 공정성을 높이기 위해, 시간을 거쳐 역전파(Backpropagation Through Time, BPTT) 기반의 지도 학습 알고리즘, 모든 타임스텝에서의 출력을 활용하는 손실 함수, 스택된 완전 연결 또는 합성곱 계층으로 구성된 네트워크 구조, 그리고 학습 중 하이퍼파라미터를 통일한다. 특히, RNN에서 일반적으로 사용되는 손실 함수를 기반으로, SNN에 더 가까운 형태로 스파이크 레이트 인코딩 방식을 참고하여 수정하였다. 또한 데이터셋의 시간 해상도를 조정하여 모델의 강건성과 일반화 능력을 평가한다. 마지막으로, 두 가지 유형의 뉴로모픽 데이터셋—DVS 변환형(N-MNIST)과 DVS 캡처형(DVS Gesture)—에 대해 일련의 대조 실험을 수행하였다.