시공간 학습을 위한 피드포워드 스파이크 신경망을 이용한 시퀀스 근사: 이론 및 최적화 방법

피드포워드 연결만을 갖는 스파이킹 뉴런의 동적 시스템은 반복 연결 없이도 시공간 패턴을 분류할 수 있다. 그러나 시간적 시퀀스를 근사화하기 위한 피드포워드 스파이킹 신경망(SNN)의 이론적 구조는 여전히 명확하지 않아, 복잡한 시공간 패턴을 학습하기 위한 SNN 아키텍처 최적화가 어려운 실정이다.본 연구에서는 피드포워드 SNN을 활용한 시퀀스 근사화에 대한 이론적 프레임워크를 구축한다.제안하는 프레임워크는 각 층에 하나의 뉴런을 두고 스킵 레이어 연결(skiplayer connection)을 도입한 피드포워드 SNN이 컴팩트 도메인 내 임의의 입력 및 출력 스파이크 트레인 쌍 사이의 매핑 함수를 근사할 수 있음을 보여준다. 또한, 다양한 동역학을 갖는 이질적 뉴런(heterogeneous neurons)과 스킵 레이어 연결이 피드포워드 SNN을 이용한 시퀀스 근사화 성능을 향상시킨다는 것을 증명한다. 이를 바탕으로, 이전의 구성 요소들을 포함하는 SNN 아키텍처를 제안하며, 이는 감독 학습 기반의 시간을 거슬러 역전파(backpropagation-through-time, BPTT) 알고리즘과 비감독 학습 기반의 스파이크 타이밍 의존성 가소성(spiking-timing-dependent plasticity, STDP) 알고리즘을 통해 학습되어 시공간 데이터의 분류에 활용된다. 또한, 이질적 뉴런 동역학과 스킵 레이어 연결을 갖는 제안된 SNN의 아키텍처 및 파라미터를 최적화하기 위해 이중 탐색 공간( Dual Search-space) 베이지안 최적화(Bayesian Optimization) 방법이 개발되었다.