15일 전

현재 기반 및 게이팅 접근법을 통한 정확하고 에너지 효율적인 스파이크 순환 신경망 연구

{Alexandre Valentian & Lorena Anghel, Thomas Mesquida, Manon Dampfhoffer}
초록

스피크 기반 계산과 통신을 갖춘 스파이킹 신경망(Spiking Neural Networks, SNNs)은 임베디드 응용 분야에서 인공 신경망(Artificial Neural Networks, ANNs)보다 더 높은 에너지 효율성을 제공할 수 있다. 그러나 SNNs는 주로 이미지 처리에 적용되어 왔으며, 음성 응용 분야는 그 시간적 동역학 특성상 더 적합할 수 있다. 본 연구에서는 LIF(Leaky Integrate-and-Fire) 모델이 스파이킹 음성 데이터셋에서 ANNs와 비교하여 정확도와 에너지 효율성을 평가한다. 결과적으로, 시간적 시퀀스 처리 과제에서 전류 기반 LIF(Cuba-LIF) 모델이 기존 LIF 모델보다 우수한 성능을 보임을 입증하였다. 또한, 게이팅된 순환망은 단순 순환망보다 이러한 과제에서 더 높은 정확도를 보여왔다. 따라서 본 연구는 Cuba-LIF의 게이팅된 버전인 SpikGRU를 제안한다. SpikGRU는 본 연구에서 다룬 가장 어려운 과제에서 다른 순환형 SNN보다 더 높은 정확도를 달성하였다. Cuba-LIF와 SpikGRU는 최첨단 정확도를 달성하였으며, 최고의 ANNs에 비해 정확도가 1.1% 미만으로 낮을 뿐만 아니라, 스파이크의 높은 희소성 덕분에 ANNs 대비 최대 49배의 연산 수 감소를 보였다.

현재 기반 및 게이팅 접근법을 통한 정확하고 에너지 효율적인 스파이크 순환 신경망 연구 | 최신 연구 논문 | HyperAI초신경