時間経過によるスパイキングニューラルネットワークのオンライン学習

スパイキングニューラルネットワーク（SNNs）は、有望な脳に着想を得たエネルギー効率の高いモデルです。最近の学習方法の進歩により、低遅延で大規模なタスクを成功裏に実行する深層SNNsが可能になりました。特に、時間軸での逆伝播法（BPTT）と疑似勾配（SG）を使用することで、非常に少ない時間ステップで高性能を達成することが一般的に行われています。しかし、これは訓練時の大きなメモリ消費、最適化の理論的な明瞭性の欠如、および生物学的な学習とニューモルフィックハードウェア上の規則との非一貫性を伴います。他の研究では、SNNsのスパイク表現と相当する人工ニューラルネットワークの定式化を結びつけ、相当するマッピングから得られる勾配を使用してSNNsを訓練することで降下方向を確保しようと試みています。しかしながら、これらの方法は低遅延を達成できず、またオンラインでもありません。本研究では、BPTTから派生したオンライン時間軸での訓練（OTTT）を提案します。OTTTは前シナプス活動を追跡し、瞬時損失と勾配を利用することで時間進行型学習を可能にします。さらに、我々は理論的に分析し証明しました。OTTTの勾配はフィードフォワードおよび再帰条件の下でスパイク表現に基づく勾配と同様の降下方向を提供できるということです。OTTTは時間ステップに関係なく一定の訓練メモリコストのみが必要であり、GPU訓練におけるBPTTの大規模なメモリコストを回避できます。加えて、OTTTの更新則は三因子ヒッブ学習の形式となっており、これによりチップ上でのオンライン学習への道が開かれます。OTTTによって初めて主要な2つの監督型SNN訓練手法であるBPTTとSGを使用した訓練法とスパイク表現に基づく訓練法が接続されるとともに、生物学的に妥当な形で接続されました。CIFAR-10, CIFAR-100, ImageNet, およびCIFAR10-DVSにおける実験結果は、我々の手法が少数の時間ステップで大規模静止画像データセットやニューモルフィックデータセットにおいて優れた性能を示すことを証明しています。