要約
我々は、長時間スケールの情報を比較的少ないリソースで動的に保持できる、再帰型ニューラルネットワーク用の新しいメモリセルを提案する。Legendre Memory Unit（LMU）は、連続時間における履歴を直交化する数学的構造に基づいて設計されており、次数 $d - 1$ までのレジェンドル多項式を用いて、$d$ 個の連立常微分方程式（ODE）を解くことで、時間窓のスライディングを線形な位相空間にマッピングする。LMUを用いた逆誤差伝播（backpropagation）は、カオス的な時系列予測タスクにおいて、同等サイズのLSTMを上回り、メモリ容量を2桁以上向上させるとともに、学習および推論時間の大幅な短縮を実現した。LMUは、100,000ステップにわたる時間依存性を効率的に処理でき、迅速に収束し、複雑な長期間関数を学習する際にも内部状態変数を少数で済ませる。このため、並べ替えられた順序MNISTタスクにおいて、RNNの最先端性能を上回っている。これらの成果は、ネットワークがステップサイズに依存せずにスケール不変な特徴を独立して学習する性質に起因している。ODEソルバーを介した逆誤差伝播により、各層が内部的な時間ステップを適応的に調整可能となり、タスクに適した時間スケールを学習できる。さらに、LMUメモリセルは $m$ 個の再帰的に接続されたポアソンスパイクニューロンを用いて実装可能であり、時間およびメモリリソースは $\mathcal{O}(m)$ に抑えられ、誤差は $\mathcal{O}(d / \sqrt{m})$ のオーダーで増加する。本研究では、アナログおよびデジタルニューロモルフィックハードウェアにおけるLMUの実装可能性についても検討する。