微分可能なスパイク：スパイキングニューラルネットワークの学習における勾配降下法の再考

スパikingニューラルネットワーク（SNN）は、脳の神経細胞が示すスパイクの発火特性を模倣する生物学的インスピレーションに基づく手法として注目されている。この生物模倣的特性により、神経形状ハードウェア（neuromorphic hardware）上での推論において極めて高いエネルギー効率が実現される。しかしながら、離散的なスパイク信号は勾配の計算を不可能にし、SNNを初期状態から高精度なモデルに訓練する上で本質的な課題をもたらす。この問題を克服するために、連続的近似としてサロゲート勾配（SG）法が提案されてきたが、SGの選定はヒューリスティック的であり、その効果がどのようにSNNの訓練に寄与するかは明確でない状態であった。本研究では、まずSNN学習における勾配降下問題を理論的に分析し、有限差分勾配（finite difference gradient）を導入することで、SNNの学習挙動を定量的に解析する手法を提案する。この有限差分勾配に基づき、訓練中に適応的に形状と滑らかさを最適化するための新しいスパイク関数の族であるDifferentiable Spike（Dspike）を提案する。複数の代表的なネットワーク構造において実施した広範な実験の結果、Dspikeを用いたSNN訓練は、従来の最先端手法を一貫して上回る性能を達成した。例えば、CIFAR10-DVS分類タスクにおいて、10ステップの時間枠でスパイキングResNet-18を学習した結果、トップ1精度75.4%を達成した。