RNNsのRNNs: 再帰的な構築による安定した再帰型ニューラルネットワークの集合体

再帰型ニューラルネットワーク（RNN）は、神経科学において局所的な神経活動のモデルとして広く使用されています。単一のRNNの多くの特性は理論的によく特徴付けられていますが、実験的神経科学は複数の相互作用する領域を研究する方向に進んでおり、RNN理論も同様に拡張される必要があります。本研究では、非線形制御理論と機械学習のツールを活用し、安定したRNNの組み合わせが自ら安定であるかどうかを特徴付ける建設的なアプローチを取りました。特に、相互作用するRNN間で大規模なフィードバック接続が可能となる条件を導出しました。これらの条件は勾配ベースの最適化技術を使用して容易にパラメータ化できることを示し、「ネットワークのネットワーク」が安定性制約のもとで難易度の高い逐次処理ベンチマークタスクにおいて良好な性能を発揮することを確認しました。全体として、我々の結果は脳における分散的・モジュール型機能を理解するための一貫性のあるアプローチを提供しています。