表現力のあるリーク型メモリニューロン：長期間タスクを解決可能な効率的かつ表現力豊かな現象論的ニューロンモデル

生体皮質ニューロンは、複雑な非線形相互作用を示す内部生物学的プロセスのもとで、多大なシナプス入力を緻密な樹状突起網を介して時間的に統合する、極めて洗練された計算装置である。最近の研究では、詳細な生体物理学的皮質錐体ニューロンモデルの入出力関係を再現するために、高精度な補間モデル（surrogate model）を適合させる手法が提案され、その際に数百万ものパラメータを持つ時系列畳み込みネットワーク（TCN）が必要であることが明らかになった。しかしながら、これほどの大量パラメータを必要とする背景には、TCNの誘導的バイアス（inductive bias）と皮質ニューロンの計算特性との不整合が存在する可能性がある。このような観点から、漏れのある記憶ユニットと非線形な樹状突起処理の計算的意義を検討するため、我々は生体にインスパイアされた現象論的ニューロンモデル「表現力豊かな漏れ記憶（Expressive Leaky Memory: ELM）」を提案する。驚くべきことに、このELMニューロンは、緩やかに減衰する記憶様隠れ状態と、二層構造の非線形シナプス入力統合を活用することで、前述の入出力関係を1万未満のトレーナブルパラメータで高精度に再現可能である。さらに、このニューロン設計の計算的意義を検証するため、長距離依存性を有する時間的構造を要する多様なタスク、特にLong Range Arena（LRA）データセットおよびSpiking Heidelberg Digitsデータセット（SHD）に基づく新しい神経型データセット（SHD-Adding）を用いて評価を行った。より多くの記憶ユニットと十分に長い時間スケールを活用することで、高次なシナプス統合が実現され、ELMニューロンはLRAにおいて従来のTransformerやChrono-LSTMアーキテクチャを確実に上回る長距離処理能力を示し、16kのコンテキスト長を持つPathfinder-Xタスクにおいても70％以上の精度で解くことに成功した。