15일 전

희소 스파이크 그래디언트 하강법

Nicolas Perez-Nieves, Dan F.M. Goodman
희소 스파이크 그래디언트 하강법
초록

스파이킹 신경망(Spiking Neural Networks, SNNs)을 뉴로모픽 컴퓨팅 장치에 구현하려는 관심이 증가하고 있으며, 이는 낮은 에너지 소비라는 장점 때문입니다. 최근의 기술 발전으로 인해 SNNs의 학습 성능이 향상되어, 정확도 측면에서 기존의 인공 신경망(Artificial Neural Networks, ANNs)과 견줄 만한 수준에 도달하게 되었으며, 동시에 뉴로모픽 하드웨어에서 실행될 때 매우 에너지 효율적입니다. 그러나 SNNs의 학습 과정은 여전히 기존 ANNs에 주로 사용되던 밀집 텐서 연산에 기반하고 있어, SNNs가 가지는 시공간적으로 희소한 특성을 충분히 활용하지 못하고 있습니다. 본 연구에서는 기존 최고 수준의 방법과 동등하거나 더 높은 정확도를 달성하면서도 훨씬 더 빠르고 메모리 효율적인 첫 번째 희소(Sparse) SNN 역전파 알고리즘을 제안합니다. 다양한 복잡도를 가진 실제 데이터셋(Fashion-MNIST, Neuromorphic-MNIST, Spiking Heidelberg Digits)을 대상으로 본 방법의 효과를 검증한 결과, 역전파 단계에서 최대 150배의 가속 효과를 얻었으며, 메모리 사용량은 85% 더 효율적으로 줄일 수 있었습니다. 이 과정에서 정확도 손실 없이도 성능을 유지함을 확인하였습니다.

희소 스파이크 그래디언트 하강법 | 최신 연구 논문 | HyperAI초신경