다이퍼렌시블 스파이크: 스파이킹 신경망 학습을 위한 그래디언트 디센트 재고찰

스파이킹 신경망(Spiking Neural Networks, SNNs)은 뇌의 신경세포가 발현하는 스파이크 특성을 모방한 생물학적 영감을 받은 방법으로 부상하고 있다. 이 생물학적 모방은 뉴모포르픽 하드웨어에서 추론 시 에너지 효율성을 높이는 특성을 지닌다. 그러나 동시에, 이산적인 스파이크 신호는 기울기(gradient) 계산을 불가능하게 하여, SNN을 처음부터 고성능으로 훈련시키는 데 내재된 단점으로 작용한다. 이 문제를 극복하기 위해, 연속적 근사화를 통한 대체 기법으로 서로가드ient(Surrogate Gradient, SG) 방법이 제안되었으나, SG의 선택이 경험적이고 편법적인 성격을 띠고 있어, 그 효과가 어떻게 SNN 훈련에 기여하는지에 대한 명확한 이해가 부족한 실정이다. 본 연구에서는 SNN 훈련에서의 기울기 하강(gradient descent) 문제를 이론적으로 분석하고, 유한 차분 기울기(finite difference gradient)를 도입하여 SNN의 훈련 동작을 정량적으로 분석한다. 제안된 유한 차분 기울기를 기반으로, 훈련 과정 중에 적응적으로 진화하여 기울기 추정에 최적의 형태와 부드러움을 자동으로 탐색할 수 있는 새로운 종류의 미분 가능 스파이크(Differentiable Spike, Dspike) 함수를 제안한다. 다양한 대표적인 네트워크 아키텍처에 걸쳐 실시된 광범위한 실험 결과, Dspike를 사용한 SNN 훈련은 기존 최고 수준의 훈련 방법을 일관되게 능가함을 확인하였다. 예를 들어, CIFAR10-DVS 분류 작업에서 스파이킹 ResNet-18을 10단계의 시간 스텝으로 훈련함으로써 75.4%의 top-1 정확도를 달성할 수 있었다.