15일 전

스파이크 신경망 학습을 위한 변동성 주도 초기화

Julian Rossbroich, Julia Gygax, Friedemann Zenke
스파이크 신경망 학습을 위한 변동성 주도 초기화
초록

스파이킹 신경망(Spiking Neural Networks, SNNs)은 뇌에서 저전력 및 고내성 정보 처리의 기반이 되며, 적절한 뉴모포르픽 하드웨어 가속기 위에 구현될 경우 기존의 딥 신경망(Deep Neural Networks)에 비해 전력 효율적인 대안이 될 수 있다. 그러나 복잡한 계산 작업을 시뮬레이션 환경에서 해결할 수 있는 SNN을 실제로 구현하는 것은 여전히 큰 도전 과제이다. 보조 기울기(Surrogate Gradient, SG) 기법은 SNN을 엔드 투 엔드(end-to-end)로 훈련하는 표준적인 해결책으로 등장하였으나, 이 기법의 성공 여부는 기존의 인공 신경망(Artificial Neural Networks, ANNs)과 마찬가지로 시냅스 가중치의 초기화에 크게 의존한다. 그러나 ANNs와 달리, SNN의 경우 어떤 초기 상태가 적절한지에 대한 명확한 기준은 여전히 부족한 실정이다. 본 연구에서는 뇌에서 흔히 관찰되는 변동성 주도( fluctuation-driven) 상태에 착안하여, SNN에 적용 가능한 일반적인 초기화 전략을 개발하였다. 구체적으로, 보편적으로 사용되는 누설 적분-화이어(Leaky Integrate-and-Fire, LIF) 뉴런에서 변동성 주도 방식의 발화를 보장할 수 있는 데이터에 의존하는 가중치 초기화 방법을 실용적인 해법으로 도출하였다. 실험적으로, 본 연구의 전략에 따라 초기화된 SNN은 SG 기법으로 훈련할 때 기존 방법 대비 뛰어난 학습 성능을 보였다. 이러한 결과는 여러 데이터셋과 SNN 아키텍처(완전 연결형, 깊은 합성곱형, 순환형, 그리고 다일 법칙(Dale's law)을 따르는 보다 생물학적으로 타당한 SNN 포함)에 걸쳐 일반화됨을 확인하였다. 따라서 변동성 주도 초기화는 뉴모포르믹 공학 및 계산 신경과학 분야에서 다양한 과제에 대해 SNN 훈련 성능을 향상시키는 실용적이고 유연하며 구현이 간편한 전략을 제공한다.

스파이크 신경망 학습을 위한 변동성 주도 초기화 | 최신 연구 논문 | HyperAI초신경