11日前

IM-Loss:スパikingニューラルネットワークにおける情報最大化損失

{Zhe Ma, Xuhui Huang, YingLei Wang, Xiaode Liu, Liwen Zhang, Yuanpei Chen, Yufei Guo}
IM-Loss:スパikingニューラルネットワークにおける情報最大化損失
要約

スパイキングニューラルネットワーク(Spiking Neural Network, SNN)は、生物学的に現実的なアーキテクチャとして認識されており、近年、多くの研究注目を集めている。SNNは0/1のスパイクを用いて情報伝達を行う。この生体模倣的なメカニズムにより、神経形態ハードウェア上で乗算演算を一切回避するため、極めて高いエネルギー効率を実現する。しかし、順伝播における0/1スパイクの量子化は情報損失を引き起こし、精度の低下を招くという課題を抱えている。この問題に対処するため、本論文ではSNN内の情報フローを最大化することを目的とした「情報最大化損失(Information Maximization Loss, IM-Loss)」が提案されている。IM-Lossは、SNNの情報表現能力を直接強化するだけでなく、推論フェーズにおいて追加の演算(例えばバイアスやスケーリング)を導入することなく、正規化の役割も果たす。さらに、本研究ではSNNに新たな微分可能なスパイク活性推定法として「進化的補助勾配(Evolutionary Surrogate Gradients, ESG)」を導入した。スパイク活性関数に対して自動的に進化可能な補助勾配を割り当てることで、学習初期には十分なモデル更新を確保し、学習終盤には高精度な勾配を維持することができる。その結果、収束性の向上と高いタスク性能の両立が達成された。標準的な非スパイク静的データセットおよび神経形態データセットにおける実験結果から、本手法で学習されたSNNモデルが、現在の最先端アルゴリズムを上回ることを示した。

IM-Loss:スパikingニューラルネットワークにおける情報最大化損失 | 最新論文 | HyperAI超神経