ハイブリッド マクロ/マイクロレベル バックプロパゲーションによる深層スパイキングニューラルネットワークの学習

スパイキングニューラルネットワーク（SNNs）は、時空間情報処理と超低消費電力のイベント駆動型ニューモルフィックハードウェアを可能にする技術として位置づけられています。しかし、SNNsは従来の深層人工ニューラルネットワーク（ANNs）に匹敵する性能を達成できていないのが現状で、これは訓練中に遭遇する複雑な動態と非微分可能なスパイクイベントによる長年の課題となっています。既存のSNN誤差逆伝播（BP）手法は、拡張性の制限、スパイキング不連続性の適切な取り扱い不足、およびレート符号化損失関数と計算された勾配との間の不一致などの問題があります。本稿では、多層SNNsの訓練用ハイブリッドマクロ/ミクロレベルバックプロパゲーション（HM2-BP）アルゴリズムを提案します。時間的な効果は、提案されるスパイク列レベルポストシナプティックポテンシャル（S-PSP）によってミクロレベルで正確に捉えられます。マクロレベルではレート符号化エラーが定義され、そのエラーはマクロおよびミクロレベル間で計算され逆伝播されます。既存のBP手法とは異なり、HM2-BPはレート符号化損失関数に対する調整可能なパラメータの勾配を直接計算します。我々は提案したHM2-BPアルゴリズムを使用して、静的なMNIST [14]と動的なニューモルフィックN-MNIST [26]に基づく深層全結合型および畳み込み型SNNsを訓練し評価しました。HM2-BPはMNISTに対して99.49%、N-MNISTに対して98.88%という精度を達成し、既存のSNN BPアルゴリズムから得られた最高報告精度を上回りました。さらに、HM2-BPはEMNIST [3]データセットにおいてもSNNsに基づく最高精度を達成しており、TI46コーパス [16]における16話者英語音声文字認識という難易度が高い時空間音声認識ベンチマークにおいても前例がない成功を収めています。また、非同期スパイクストリーム処理においても従来の深層学習モデルを超える競争力のある性能を示しています。