스파이킹 신경망에서 가변 간격을 갖는 확장 컨볼루션을 이용한 학습 지연 학습

스파이킹 신경망(Spiking Neural Networks, SNNs)은 음성 인식과 같은 시계열 작업에 특히 적합한 전력 효율적인 정보 처리 시스템을 구축하는 데 있어 주목할 만한 연구 방향이다. SNNs에서 지연(delay)은 한 신경세포에서 다른 신경세포로 스파이크(spike)가 전달되기까지 소요되는 시간을 의미한다. 이러한 지연은 스파이크 도착 시점에 영향을 미치므로, 스파이크 신경세포가 동시에 도착하는 입력 스파이크에 더 강하게 반응한다는 점에서 중요하다. 더 정확히 말하면, 이론적으로 플라스틱한 지연(Plastic delays)이 SNNs의 표현 능력을 크게 향상시킬 수 있음이 입증되었다. 그러나 이러한 지연을 효과적으로 학습할 수 있는 알고리즘이 여전히 부족한 실정이었다. 본 연구에서는 오프라인 방식으로 역전파(Backpropagation)를 사용하여 깊은 전방향 SNNs에서 이 문제를 해결하는 새로운 이산 시간 알고리즘을 제안한다. 연속된 계층 간의 지연을 시뮬레이션하기 위해 시간 축을 따라 1차원 컨볼루션을 활용한다. 커널은 각 시냅스당 하나의 비영 요소(Non-zero) 가중치만 포함하며, 이들의 위치는 지연 시간을 나타낸다. 이러한 위치는 최근 제안된 '학습 가능한 간격을 가진 확장 컨볼루션(Dilated Convolution with Learnable Spacings, DCLS)'을 사용하여 가중치와 함께 학습된다. 제안한 방법은 스파이킹 하이델베르크 데이터셋(Spiking Heidelberg Dataset, SHD), 스파이킹 음성 명령 데이터셋(Spiking Speech Commands, SSC), 그리고 비스파이킹 버전인 Google Speech Commands v0.02(GSC)을 포함한 세 가지 데이터셋에서 평가되었다. 이들 데이터셋은 시계열 패턴 탐지를 요구하는 작업에 적합하다. 실험에서는 두 개 또는 세 개의 은닉 완전 연결 계층을 가진 전방향 SNNs와 일반적인 누설 적분-화이어(Leaky Integrate-and-Fire) 신경세포를 사용하였다. 결과적으로 고정된 무작위 지연이 도움이 되며, 이를 학습하는 것이 더 큰 성능 향상을 가져옴을 입증하였다. 더불어, 순환 연결을 사용하지 않으면서도 상태 기술(SOTA)을 초월하고, 파라미터 수를 크게 줄일 수 있었다. 본 연구는 지연 학습이 시계열 데이터 처리를 위한 정확하고 정밀한 모델 개발에 큰 잠재력을 지닌다는 점을 보여주었다. 코드는 PyTorch / SpikingJelly 기반으로 작성되었으며, 다음 링크에서 공개되어 있다: https://github.com/Thvnvtos/SNN-delays