2ヶ月前

S-TLLR: STDPに着想を得たスパイキングニューラルネットワークの時間局所学習則

Apolinario, Marco Paul E. ; Roy, Kaushik
S-TLLR: STDPに着想を得たスパイキングニューラルネットワークの時間局所学習則
要約

スパイキングニューラルネットワーク(SNNs)は、生物学的に妥当なモデルとして認識されており、特に逐次学習タスクにおいて、エッジデバイスでのエネルギー効率の高い知能の実装に適しているとされています。しかし、SNNsの訓練には時間的および空間的なクレジット割り当ての必要性から大きな課題があります。時間逆伝播法(Back-Propagation Through Time: BPTT)アルゴリズムは、これらの問題を解決するために最も広く使用されている方法ですが、時間依存性により高い計算コストが発生します。本研究では、スパイクタイミング依存可塑性(Spike-Timing Dependent Plasticity: STDP)メカニズムに着想を得た新しい三因子時間局所学習則であるS-TLLRを提案します。この規則は深層SNNsのイベントベース学習タスクにおける訓練を目的としています。さらに、S-TLLRは低メモリおよび低時間複雑度を持つように設計されており、時間ステップ数に依存しないため、低消費電力のエッジデバイスでのオンライン学習に適しています。我々が提案する手法のスケーラビリティを示すために、画像認識やジェスチャ認識、音声分類、光流推定など幅広いアプリケーションを対象としたイベントベースデータセットで詳細な評価を行いました。すべての実験において、S-TLLRはBPTTと同等の高精度を達成し、メモリ使用量を5〜50倍削減し、乗算積和演算(Multiply-Accumulate: MAC)回数も1.3〜6.6倍削減しました。

S-TLLR: STDPに着想を得たスパイキングニューラルネットワークの時間局所学習則 | 最新論文 | HyperAI超神経