スパikingニューラルネットワークにおける学習遅延の学習：可学習な間隔を有する拡張畳み込みを用いた手法

スパイキングニューラルネットワーク（SNN）は、音声認識などの時系列タスクに適した、エネルギー効率の高い情報処理システム構築の有望な研究分野である。SNNにおいて「遅延」とは、一つのスパイクがニューロンから別のニューロンへ伝播するのに要する時間のことを指す。この遅延は、スパイクの到達時刻に影響を及ぼすため重要であり、既に知られているように、スパイキングニューロンは同時到来する入力スパイクに対してより強い応答を示す。より形式的には、理論的にも、可塑性を持つ遅延はSNNの表現力（expressivity）を大幅に向上させることを示している。しかしながら、このような遅延を効率的に学習するアルゴリズムはこれまで不足していた。本研究では、バックプロパゲーションを用いたオフライン手法により、深層順伝播型SNNにおけるこの課題に対処する新しい離散時間アルゴリズムを提案する。連続する層間の遅延をシミュレートするため、時間軸方向の1次元畳み込みを用いる。これらのカーネルには、シナプスごとに1つの非ゼロ重みしか含まれず、その位置が対応する遅延を表す。これらの位置は、最近提案された「学習可能な間隔を有する拡張畳み込み（Dilated Convolution with Learnable Spacings, DCLS）」を用いて、重みと共に学習される。本手法は、Spiking Heidelberg Dataset（SHD）、Spiking Speech Commands（SSC）、およびその非スパイキング版であるGoogle Speech Commands v0.02（GSC）の3つのデータセット上で評価された。これらのベンチマークは、時系列パターンの検出を要するタスクである。実験では、2層または3層の隠れ層を有する順伝播型SNNと、標準的なリークイントegrate-and-fire（LIF）ニューロンを用いた。固定されたランダム遅延が有効であることを示したうえで、その遅延を学習することでさらに性能向上が達成されることを確認した。さらに、再帰接続を用いない状態で、3つのデータセットにおいて既存の最先端技術を上回る性能を達成し、パラメータ数も著しく削減された。本研究は、遅延学習が時系列データ処理に向けた高精度・高精度モデルの開発において大きな可能性を秘めていることを示した。コードはPyTorch / SpikingJellyを基盤とし、以下より公開されている：https://github.com/Thvnvtos/SNN-delays