11日前

時空間学習のためのフィードフォワードスパikingニューラルネットワークを用いたシーケンス近似:理論と最適化手法

{Saibal Mukhopadhyay, Saurabh Dash, Xueyuan She}
時空間学習のためのフィードフォワードスパikingニューラルネットワークを用いたシーケンス近似:理論と最適化手法
要約

フィードフォワード接続のみを有するスパikingニューロンの動的システムは、再帰接続を必要とせずに時空間パターンを分類することができる。しかし、時系列を近似するためのフィードフォワード型スパikingニューラルネットワーク(SNN)の理論的構成は依然として明確でなく、複雑な時空間パターンを学習するためのSNNアーキテクチャの最適化は困難である。 本研究では、フィードフォワードSNNを用いたシーケンス近似の理解と向上を目的として、理論的枠組みを構築した。本枠組みにより、層ごとに1つのニューロンを配置し、スキップ層接続(skip-layer connections)を導入したフィードフォワードSNNが、コンパクト領域上の任意の入力スパイクトレインと出力スパイクトレインのペア間の写像関数を近似可能であることが示された。さらに、異なる動的特性を持つ非一様なニューロンとスキップ層接続を組み合わせることで、フィードフォワードSNNにおけるシーケンス近似性能が向上することを理論的に証明した。 その結果、上記の構成要素を統合したSNNアーキテクチャを提案し、時空間データの分類に向け、教師ありのバックプロパゲーション・スル・タイム(BPTT)および非教師ありのスパイクタイミング依存性可塑性(STDP)アルゴリズムを用いて学習を行う。また、非一様なニューロン動態とスキップ層接続を有する本提案SNNのアーキテクチャおよびパラメータ最適化を実現するため、二重探索空間を有するベイズ最適化(Dual Search-space Bayesian Optimization)手法を開発した。

時空間学習のためのフィードフォワードスパikingニューラルネットワークを用いたシーケンス近似:理論と最適化手法 | 最新論文 | HyperAI超神経