IM-Loss: 스파이크 신경망을 위한 정보 최대화 손실

스피킹 신경망(Spiking Neural Network, SNN)은 생물학적으로 타당한 아키텍처로 인정받으며 최근 많은 연구 주목을 받고 있다. SNN은 0/1 스파이크를 통해 정보를 전달하며, 이 생물학적 모방 메커니즘은 뉴모포르픽 하드웨어에서 어떤 곱셈 연산도 피하기 때문에 극도로 높은 에너지 효율성을 보인다. 그러나 전방 전파 과정에서 발생하는 0/1 스파이크 양자화는 정보 손실과 정확도 저하를 초래한다. 이 문제를 해결하기 위해 본 논문에서는 SNN 내 정보 흐름을 최대화하는 것을 목표로 하는 정보 최대화 손실(Information Maximization Loss, IM-Loss)을 제안한다. IM-Loss는 SNN의 정보 표현력을 직접적으로 향상시키는 동시에, 추론 단계에서 추가적인 연산(예: 편향 및 스케일링)을 도입하지 않고도 정규화의 역할을 수행한다. 더불어, 본 연구에서는 SNN에 새로운 미분 가능한 스파이크 활성도 추정 방법인 진화적 대체 기울기(Evolutionary Surrogate Gradients, ESG)를 도입한다. 스파이크 활성도 함수에 대해 자동으로 진화 가능한 대체 기울기를 부여함으로써, ESG는 학습 초기에는 충분한 모델 업데이트를 보장하고 학습 종료 시에는 정확한 기울기를 유지하여 빠른 수렴과 높은 작업 성능을 동시에 달성한다. 일반적인 비스파이크 정적 데이터셋과 뉴모포르픽 데이터셋에 대한 실험 결과를 통해, 본 연구에서 제안한 방법으로 학습된 SNN 모델이 현재 최고 수준의 알고리즘을 초월함을 확인하였다.