S-TLLR: STDP에서 영감을 받은 Spiking Neural Networks의 시간 국소 학습 규칙

스파이킹 뉴럴 네트워크(SNNs)는 생물학적으로 타당한 모델로, 특히 순차 학습 작업에서 에너지 효율적인 지능을 엣지에서 구현하는 데 적합하다고 인식되고 있습니다. 그러나 SNNs의 훈련은 시간적 및 공간적 크레딧 할당의 필요성으로 인해 상당한 도전과제를 제시합니다. 시간을 거친 역전파(BPTT) 알고리즘은 이러한 문제를 해결하기 위한 가장 널리 사용되는 방법이지만, 시간적 의존성으로 인해 높은 계산 비용을 초래합니다. 본 연구에서는 스파이크 타이밍 종속 성형(STDP) 메커니즘에 영감을 받은 새로운 세 가지 요소를 포함하는 시간 국소 학습 규칙인 S-TLLR을 제안합니다. 이 규칙은 깊은 SNNs을 이벤트 기반 학습 작업에 훈련시키는 것을 목표로 합니다. 또한, S-TLLR은 메모리와 시간 복잡도가 낮으며, 이는 시간 단계의 수와 독립적이므로 저전력 엣지 장치에서 온라인 학습에 적합합니다. 제안된 방법의 확장성을 입증하기 위해, 이미지 및 제스처 인식, 오디오 분류, 광학 유동 추정 등 다양한 응용 분야를 아우르는 이벤트 기반 데이터셋에서 광범위한 평가를 수행했습니다. 모든 실험에서 S-TLLR은 BPTT와 유사한 높은 정확도를 달성하면서 메모리를 5-50배 감소시키고 곱셈-누적(MAC) 연산을 1.3-6.6배 줄였습니다.